JP6548372B2 - 固体撮像素子およびそれを用いた測距装置、撮像装置 - Google Patents

Description

本発明は、固体撮像素子に関し、特にデジタルスチルカメラやデジタルビデオカメラなどの撮像装置において測距に用いられる固体撮像素子に関するものである。

近年、デジタルスチルカメラやビデオカメラにおいては、画素アンプ部にＭＯＳトランジスタを用いたＣＭＯＳ型の固体撮像素子が広く使用されている。ＣＭＯＳ型の固体撮像素子における信号の転送方法としては、以下の二つが知られている。一つ目の方法は、画素の電圧信号を、行毎に順次垂直信号線に転送する、所謂ローリングシャッタ方式である。ローリングシャッタ方式では、信号転送のタイミングが行毎にずれるため、露光のタイミングも行毎にずれる。二つ目の方法は、画素内メモリに一時的に電荷を保持することで、全ての画素で露光のタイミングを同時にする、所謂グローバルシャッタ方式である。

一方、撮像素子の一部あるいは全部の画素を、測距機能を有する距離測定用画素（以下、測距画素）として構成し、位相差方式による距離検出を可能にした固体撮像素子が提案されている。位相差方式とは、結像光学系の瞳上の異なる領域を通過した光の像を比較し、ステレオ画像による三角測量を用いて距離を検出する方法である。これによると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速高精度な測距が可能となる。また、測距画素で取得した信号は、撮影画像を生成するための画像信号として用いることができ、撮像と同時に測距が可能となる。

特許文献１には、測距画素を有する固体撮像素子に、グローバルシャッタを適用することにより、全ての測距画素で測距時の露光のタイミングを同時にすることが可能となる固体撮像素子が開示されている。

また、特許文献２には、瞳分割方向が互いに異なる複数種類の測距画素を設けることで、被写体の有するテクスチャ方向によらずに高精度な測距が可能となる固体撮像素子が開示されている。具体的には、測距画素内の光電変換部の配置を変えることで、瞳分割方向を変化させている。

特開２００７−２４３７４４号公報 特開２００７−０６５３３０号公報

特許文献２のように、瞳分割方向が互いに異なる複数種類の測距画素を設けた固体撮像素子に対してローリングシャッタを適用した場合、以下のような課題が発生する。行方向とは異なる方向に瞳分割を行う測距画素を用いて測距を行う場合、異なる行にまたがった被写体の輝度値変化を用いて測距を行うことになる。しかし、前述したように、ローリングシャッタでは行毎に露光のタイミングがずれているため、異なる行にまたがった輝度値変化は、露光タイミングのずれた被写体を反映していることになる。そのため、特に高速に動く被写体を撮影した場合に、測距精度が低下してしまう。

一方、瞳分割方向が互いに異なる複数種類の測距画素を設けた固体撮像素子に対して、特許文献１で開示されているようなグローバルシャッタを適用した場合、以下のような課
題が発生する。グローバルシャッタを適用するには、電荷を一時的に保持する画素内メモリが必要となる。そのため、被写体からの光を取得する光電変換部の開口率が低下し、特に暗い被写体に対する測距精度が低下する。

本発明では、以上のような課題を鑑みてなされたものであり、被写体によらず高精度な測距が可能となる固体撮像素子を提供することを目的とする。

本発明の第一の態様に係る固体撮像素子は、行列状に配置された複数の画素を有し、各画素の信号を行単位で取得する固体撮像素子であって、前記固体撮像素子への入射光束を第１の方向に分離して検出する第１の測距画素と、前記固体撮像素子への入射光束を列方向とのなす角度が前記第1の方向よりも小さい第２の方向に分離して検出する第２の測距
画素と、がそれぞれ行列状に配置されており、前記第２の測距画素は、画素内メモリを有しており、異なる行に配置された複数の第２の測距画素において前記画素内メモリに電荷を保持する時間を行毎に変えることによって、異なる行に配置された複数の第２の測距画素の露光タイミングの相違が異なる行に配置された複数の第１の測距画素の露光タイミングの相違よりも小さくなるように構成されている、ことを特徴とする。

本発明の第二の態様に係る撮像装置は、
第１の方向および列方向とのなす角度が前記第１の方向よりも小さい第２の方向にそれぞれ２つずつ並んで配置される４つの光電変換部と少なくとも１つの画素内メモリとを各々が備える複数の測距画素を含む複数の画素が行列状に配置され、各画素の信号を行単位で取得する固体撮像素子と、
前記固体撮像素子の出力信号を用いて被写体までの測距を行う演算処理部と、
前記固体撮像素子への入射光束を前記第１の方向に分離して検出する第１の測距モード
と、前記固体撮像素子への入射光束を前記第２の方向に分離して検出する第２の測距モードのいずれかのモードで測距を行うように制御する制御手段と、を備え、
前記制御手段は、前記第１の測距モードでは、前記複数の測距画素の各々からダークレベル信号を読み出し、その後、前記第２の方向に並ぶ一方の２つの光電変換部の信号の和と前記第２の方向に並ぶ他方の２つの光電変換部の信号の和をそれぞれ読み出し、読み出した２つの和信号と前記ダークレベル信号との差分を取ることで相関２重サンプリング処理を施し、前記相関２重サンプリング処理を施された２つの和信号を比較することにより前記被写体までの測距を行うように制御し、
第２の測距モードでは、前記複数の測距画素の各々において、前記第１の方向に並ぶ一方の２つの光電変換部の信号の和と前記第１の方向に並ぶ他方の２つの光電変換部の信号の和をそれぞれ前記画素内メモリに転送し、前記複数の測距画素が配置された行毎に前記画素内メモリに信号を保持する時間を異ならせることで行毎の露光タイミングの相違が前記第１の測距モードよりも小さくなるように制御し、前記画素内メモリから読み出した２つの和信号を比較することにより前記被写体までの測距を行うように制御することを特徴とする。

本発明によれば、被写体によらず高精度な測距が可能となる固体撮像素子が提供できる。

実施形態１に係る測距装置 実施形態１に係る固体撮像素子 実施形態１に係る測距画素 ローリングシャッタとグローバルシャッタで取得した画像 実施形態１に係る第１の測距画素の回路図 実施形態１に係る第１の測距画素の動作フロー 実施形態１に係る第２の測距画素の回路図 実施形態１に係る第２の測距画素の動作フロー 第１の測距画素と第２の測距画素で取得した画素信号値 画素内メモリの配置の変形例 第２の測距画素の変形例 第２の測距画素の回路図 第２の測距画素の動作フロー 第２の測距画素の変形例で取得した画像 測距画素の変形例 測距画素の配置 実施形態２に係る固体撮像素子中の第１の測距画素 実施形態２に係る第１の測距画素の回路図 実施形態２に係る第１の測距画素の動作フロー 第１の測距画素の変形例 実施形態３に係る第２の測距画素の回路図 実施形態３に係る第２の測距画素の動作フロー 測距画素の変形例 瞳透過率の相違 実施形態４に係る固体撮像素子 実施形態５に係る固体撮像素子中の測距画素 実施形態５に係る固体撮像素子中の測距画素の回路図 実施形態５に係る第１の測距モードの動作フロー 実施形態５に係る第２の測距モードの動作フロー 測距画素の変形例

以下、図を用いて、本発明の実施形態における固体撮像素子について説明する。その際、全ての図において同一の機能を有するものは同一の符号を付け、その繰り返しの説明は省略する。

（実施形態１）
＜測距装置＞
図１は本発明における固体撮像素子を用いた測距装置の模式図である。図１において、測距装置１００は、結像光学系１０１、固体撮像素子１１０、演算処理部１０２から構成される。固体撮像素子１１０は結像光学系１０１の光軸上に配置され、結像光学系１０１は固体撮像素子１１０上に被写体像を結像する。

演算処理部１０２は、ＣＰＵやＤＳＰとプログラムを格納したメモリから構成され、プログラムを実行することにより各種の信号処理を行う。演算処理部１０２が行う処理の例として、被写体距離の検出や、被写体像の取得が挙げられる。なお、以下で説明される各種の信号処理も演算処理部１０２によって行われる。また、測距装置と演算処理部１０２の撮像機能（被写体像取得部）から、撮像装置が構成される。演算処理部１０２における被写体像取得機能については、公知の技術を採用可能であるので、本明細書では詳しい説明は省略する。

＜固体撮像素子＞
図２は、本発明における固体撮像素子１１０を示す概略図である。固体撮像素子１１０は、行列状に複数配置された２種類の測距画素１２０、１３０と、測距画素から信号を読み出すための周辺回路を有している。なお、図２では簡単のために画素数を４ｘ４としたが、これに限るものではない。

周辺回路は、トランジスタを駆動するために接続された水平駆動線１４１、画素からの信号を読み出す垂直信号線１４２を有している。各画素は水平駆動線１４１によって駆動され、画素信号を垂直信号線１４２に出力している。このように、固体撮像素子１１０の各画素からの信号は行単位で（行毎に）取得される。

第１の測距画素１２０は、結像光学系１０１の瞳をＸ方向（行方向あるいは第１の方向とも呼ぶ。）に分割して被写体像を取得する画素である。第２の測距画素１３０は、結像光学系１０１の瞳をＹ方向（列方向あるいは第２の方向とも呼ぶ。）に分割して被写体像を取得する画素である。また、測距画素１２０、測距画素１３０は互い違いに異なる列に
配置されている。図２に示すように、各行の測距画素１２０（１３０）を区別する場合には、測距画素１２０（１３０）ａ、測距画素１２０（１３０）ｂ、測距画素１２０（１３０）ｃ、測距画素１２０（１３０）ｄと呼ぶ。

＜測距画素＞
図３（ａ）は、測距画素１２０の画素内構成を示す概略図であり、図３（ｂ）は測距画素１３０の画素内構成を示す概略図である。測距画素１２０（１３０）は光の入射側から、マイクロレンズ１２１（１３１）、基板１２２（１３２）を有している。測距画素１２０の基板１２２内には、Ｘ方向に並んだ２つの光電変換部１２３、１２４が形成されている。測距画素１３０の基板１３２内にはＹ方向に並んだ２つの光電変換部１３３、１３４が形成されている。マイクロレンズ１２１（１３１）は光電変換部１２３と１２４（１３３と１３４）にまたがって配置されている。そして、結像光学系１０１の射出瞳のうち、＋Ｘ方向に偏心した瞳領域から入射した光束を光電変換部１２３に、−Ｘ方向に偏心した瞳領域から入射した光束を光電変換部１２４に、各々選択的に導いている。同様に、結像光学系１０１の射出瞳のうち、＋Ｙ方向に偏心した瞳領域から入射した光束を光電変換部１３３に、−Ｙ方向に偏心した瞳領域から入射した光束を光電変換部１３４に、各々選択的に導いている。即ち、測距画素１２０は、結像光学系からの入射光束をＸ方向（行方向）に分離して検出し、測距画素１３０は、結像光学系からの入射光束をＹ方向（列方向）に分離して検出するように構成されている。

測距画素１３０には、イオン打ち込みなどによって形成された画素内メモリ１３５および１３６が設けられている。測距画素１３０は、メモリ１３５および１３６に電荷を一時的に保持することで、グローバルシャッタ方式によって画素信号の取得を行う。一方、測距画素１２０は、ローリングシャッタによって画素信号の取得を行っている。測距画素１２０中の光電変換部１２３、１２４の開口率は、画素内メモリ１３５、１３６が無い分だけ、測距画素１３０中の光電変換部１３３、１３４の開口率よりも大きくなっている。

測距画素１２０および１３０には水平駆動線１４１や垂直信号線１４２と、トランジスタが設けられており、各々の光電変換部で取得された画素信号は周辺回路に転送される。具体的な電荷転送動作については後述する。

マイクロレンズ１２１および１３１は、検出する波長帯域で透明な材料であるＳｉＯ_２やＳｉＮなどで形成されている。基板１２２および１３２は、検出する波長帯域で吸収を有するＳｉや有機半導体などの材料で形成されている。配線１４１および１４２はＡｌやＣｕなどの金属によって形成されている。

＜従来例との比較：ローリングシャッタの課題＞
固体撮像素子１１０では、測距画素１３０はグローバルシャッタ、測距画素１２０はローリングシャッタによって動作する。このため、被写体によらず高精度な測距が可能となっている。以下でその理由について説明する。

図４（ａ）および図４（ｂ）は、Ｘ方向に向かって高速で動く正方形の被写体を撮影した場合に取得される画像を説明する図である。図４（ａ）はローリングシャッタによって取得した画像、図４（ｂ）はグローバルシャッタによって取得した画像である。ローリングシャッタを用いた場合、異なる行間では露光のタイミングがずれるため、正方形のＹ方向（列方向）の辺は斜めに伸びる線像として取得される。一方、Ｘ方向（行方向）に沿った画素間の露光タイミングは同時であるため、行方向の辺は行方向に伸びる線像として取得される。また、グローバルシャッタを用いた場合、全ての画素で露光タイミングが同時であるため、被写体の形を反映した、正方形の画像が取得される。

測距画素１２０を用いる場合、被写体像の行方向に沿った輝度値変化を、光電変換部１２３で取得した像（Ａ像）１５１と光電変換部１２４で取得した像（Ｂ像）１５２のズレ（像ズレ量）を検出することで測距を行う。前述したように、ローリングシャッタを使用した場合でも行方向の露光タイミングは同時であるため、行方向（図４の破線４０１方向）の輝度値変化は同一時刻で取得した被写体を反映したものである。従って、測距画素１２０を用いて、高速で動く被写体に対して測距を行う場合、ローリングシャッタ、グローバルシャッタどちらを使用しても、測距精度の低下は小さい。

一方、測距画素１３０を用いる場合、被写体像の列方向に沿った輝度値変化を、光電変換部１３３で取得した像（Ｃ像）１５３と光電変換部１３４で取得した像（Ｄ像）１５４のズレ（像ズレ量）を検出することで測距を行う。前述したように、ローリングシャッタを使用した場合、異なる行間では露光のタイミングがずれるため、同一時刻の被写体を反映する方向は、図４（ａ）の二点鎖線４０２方向である。即ち、列方向（図４（ａ）の一点鎖線４０３方向）に沿った輝度値変化は同一時刻で取得した被写体像を反映していない。一方、グローバルシャッタを使用した場合は、列方向（図４（ｂ）の一点鎖線４０４方向）に沿った輝度値変化は、同一時刻で取得した被写体像を反映する。従って、測距画素１３０を用いて、高速で動く被写体に対して測距を行う場合、ローリングシャッタを使用すると測距精度が低下してしまうが、グローバルシャッタを用いれば測距精度の低下は小さい。

このように、測距画素における入射光束の分離方向によって、高速で動く被写体をローリングシャッタで撮影した場合の測距精度の低下度合いが異なる。上記の説明では、被写体がＸ方向に高速で移動するものとして説明したが、被写体の移動方向と測距精度の低下には関係がない。Ｙ方向に高速で移動する被写体をローリングシャッタで撮影する場合は、被写体像のＸ方向長さは変化しないが、Ｙ方向長さが伸縮する。したがって、測距画素１３０でローリングシャッタを用いると、得られる像ズレ量に誤差が生じ測距精度が低下する。一方、測距画素１２０ではローリングシャッタを用いても測距精度の低下は小さい。すなわち、測距精度の低下に関係するのは、入射光束の分離方向とＸ，Ｙ方向との関係である。したがって、上述のようにＸ方向およびＹ方向の輝度値変化を用いる測距画素を用いる場合以外にも、斜め方向の輝度値変化を用いる測距画素についても、入射光束の分離方向によって測距精度の低下度合いが異なる。前述したように、列方向に沿った画素では露光タイミングがずれるため、列方向とのなす角度が小さい方向に入射光束を分離する測距画素ほど、光束で動く被写体に対する測距精度の低下度合いが大きい。逆に、列方向とのなす角度が大きい方向に入射光束を分離する測距画素ほど、高速で動く被写体に対する測距精度の低下度合いが小さい。

固体撮像素子１１０では、入射光束をＹ方向に分離する測距画素１３０では、グローバルシャッタを採用している。測距画素１３０に対してローリングシャッタを採用すると、高速で動く被写体に対する測距精度の低下度合いが大きくなるためである。一方、入射光束をＸ方向に分離する測距画素１２０では、ローリングシャッタを採用している。測距画素１２０では、被写体が高速で動いても測距精度の低下度合いが小さいためである。このように、全ての測距画素に対してグローバルシャッタを適用することなく、高速で動く被写体に対する測距精度を向上させることが可能となっている。

＜従来例との比較：グローバルシャッタの課題＞
測距精度の向上という観点からは、全ての測距画素に対してグローバルシャッタを適用すれば良いとも考えられる。しかしながら、全ての測距画素に対してグローバルシャッタを適用した場合、以下のような問題が発生する。グローバルシャッタ動作を行うためには、画素内に電荷を一時的に保持するためのメモリが必要となる。メモリを配置した場合、光電変換部の開口率が低下したり、他のトランジスタや配線の配置に制限が生じたりする
。光電変換部の開口率が低下すると、測距画素の感度が低下し、暗い被写体に対する測距精度の低下を招く。トランジスタや配線の配置に制限が生じると製造時の歩留まりが低下する。更に配置の制限が厳しい場合、トランジスタ数を削減する必要が生じる場合もある。この場合、トランジスタ数を削減した結果、回路ノイズが増大するなどして、測距精度の低下も招くことになる。また、グローバルシャッタはローリングシャッタよりも電荷転送の動作が増えるため、消費電力の増大も招く。

このように、全ての測距画素に対してグローバルシャッタを行った場合、測距精度の低下、歩留まり低下、消費電力の増大といった課題が発生する。本実施形態では、測距画素１３０にのみグローバルシャッタを適用することで、高速で動く物体に対する測距精度を向上させつつ、暗い被写体に対する測距精度の向上、歩留まりの向上、消費電力の低下などを実現できる。

＜回路図と動作フロー＞
続いて、測距画素１２０、１３０において画素信号を検出する動作について説明を行う。図５は測距画素１２０の回路図、図６は同一列に並んだ複数の測距画素１２０の動作フローを説明する図である。同様に、図７は測距画素１３０の回路図、図８は同一列に並んだ複数の測距画素１３０の動作フローを説明する図である。

図５、図６を用いて測距画素１２０の信号検出動作を説明する。まず、水平駆動線１４１によって、リセットトランジスタ（ＲＳＴ）１６１、１６２を、固体撮像素子１１０の上側の行から順次ＯＮにし、光電変換部１２３、１２４を電源電圧（ＶＤＤ）にリセットする。次に、同様にＲＳＴ１６１、１６２を固体撮像素子１１０の上側の行から順次ＯＦＦにし、光電変換部１２３、１２４への電荷蓄積を開始する。光電変換部１２３、１２４に蓄積された電荷は、光電変換部１２３、１２４に接続された増幅トランジスタによるソースフォロアによって、電圧信号として出力される。最後に、水平駆動線１４１によって選択トランジスタ（ＳＥＬ）１６５、１６６を、固体撮像素子１１０の上側の行から順次ＯＮにし、画素信号を垂直信号線１４２によって、周辺回路へ転送する。即ち、測距画素１２０では、ＲＳＴがＯＦＦになってから、ＳＥＬがＯＮになるまでの時間Ｔｅｘが露光時間である。図６からわかるように、測距画素１２０（第１の測距画素）では、露光のタイミングが行毎にΔＴｅｘずれており、ローリングシャッタによる信号検出を行っている。

図７、図８を用いて測距画素１３０の信号検出動作を説明する。まず、水平駆動線１４１によって、測距画素１３０のリセットトランジスタ（ＲＳＴ）１７１、１７２および転送トランジスタ（ＴＸ）１７３、１７４をＯＮにする。これにより、光電変換部１３３、１３４および画素内メモリ１３５、１３６が全て電源電圧（ＶＤＤ）にリセットされる。次に、全行のＴＸ１７３、１７４を同時にＯＦＦにし、光電変換部１３３、１３４への電荷蓄積を開始する。ＲＳＴ１７１、１７２をＯＦＦにした後、全行のＴＸ１７３、１７４を同時にＯＮにし、光電変換部１３３、１３４内の電荷を各々、画素内メモリ１３５、１３６に転送する。転送後、ＴＸ１７３、１７４をＯＦＦにして光電変換部と画素内メモリを分離し、画素内メモリ１３５、１３６に電荷を保持する。画素内メモリ１３５、１３６に保持された電荷は、画素内メモリに接続された増幅トランジスタによるソースフォロアによって、電圧信号として出力される。最後に、水平駆動線１４１によって選択トランジスタ（ＳＥＬ）１７５、１７６を、固体撮像素子１１０の上側の行から順次ＯＮにし、画素信号を垂直信号線１４２によって、周辺回路へ転送する。即ち、測距画素１３０では、ＴＸがＯＦＦになってから、ＴＸがＯＮになるまでの時間Ｔｅｘが露光時間である。図８からわかるように、画素内メモリでの電荷保持時間Ｔｆｄを行毎に変えることで、露光のタイミングを同時にしながら、信号を行毎に順次読み出すことが可能となっている。即ち、測距画素１３０（第２の測距画素）はグローバルシャッタによる信号検出を行っている
。

＜開口率の違いを利用した暗い被写体に対する測距精度向上＞
図３に示すように、測距画素１２０中の光電変換部１２３、１２４の開口率は、画素内メモリ１３５、１３６が無い分だけ、測距画素１３０中の光電変換部１３３、１３４の開口率よりも大きくなっている。従って、暗い被写体に対しては測距画素１２０を用いて測距を行うことで、暗い被写体に対する測距精度の低下を防止することができる。具体的には、取得した画素信号の大きさが特定の閾値以上の場合には、被写体の輝度値変化の方向に応じて測距画素１２０または測距画素１３０（第２の測距画素）を使用し、閾値未満の場合には、測距画素１２０（第１の測距画素）を用いて測距を行えば良い。

測距画素において、測距情報とともに画像情報を取得する場合には、複数の光電変換部の電荷量を電圧信号に変換した後、周辺回路で加算すればよい。加算した電圧信号は、結像光学系１０１の全瞳領域を通過した光束を取得したものであるため、測距画素における画像情報を取得することができる。光電変換部の開口率の相違に伴う、測距画素１２０と測距画素１３０の感度差は、ゲインを調整して補正すればよい。

＜開口率の差を利用したダイナミックレンジ拡大＞
また、測距画素１２０中の光電変換部１２３、１２４の開口率が、測距画素１３０中の光電変換部１３３、１３４の開口率よりも大きいことを利用して、撮影画像のダイナミックレンジを拡大させることもできる。同一の露光条件で撮影した場合、図９に示すように、測距画素１２０で取得した画素信号値（破線）の方が、測距画素１３０で取得した画素信号値（点線）よりも大きい。そのため、測距画素１２０で取得した画像は、被写体の明るい部分が白トビしやすいが、暗い部分は画像の品質が高い。一方、測距画素１３０で取得した画像は、被写体の暗い部分が黒ツブレしやすいが、明るい部分は画像の品質が高い。

そこで、以下のようにすれば、品質の高い画像が取得できる。測距画素１３０（第２の測距画素）の画素信号が第１の値よりも小さい部分１５３に関しては、測距画素１２０（第１の測距画素）で取得した画素信号を使用する。一方、測距画素１２０（第１の測距画素）の画素信号が第２の値よりも大きい部分１５４に関しては、測距画素１３０（第２の測距画素）で取得した画素信号を使用する。最後に両方の画像を合成することで、白トビや黒ツブレの少ない画像を取得することができる。ここで、第１の値は、測距画素１２０が取得可能な画素信号の最小値であり、第２の値は、測距画素１３０が取得可能な画素信号の最大値である。測距画素１２０、測距画素１３０のどちらで取得しても白トビ、黒ツブレのない部分（測距画素１３０の画素信号が第１の値以上かつ測距画素１２０の画素信号が第２の値以下の部分）に関してはどちらを使用しても良い。両者を比較することで、合成画像生成時の測距画素１２０、測距画素１３０のゲインを調整すれば、合成時の違和感の少ない画像を取得することができるため、更に好ましい。

＜画像のひずみを利用した動き検出＞
なお、測距画素１２０で取得した被写体像と、測距画素１３０で取得した被写体像を比較することで、被写体の動き情報も取得できる。前述したように、ローリングシャッタを用いた場合、異なる行間では露光のタイミングがずれるため、歪んだ被写体像が取得される。一方、グローバルシャッタを用いた場合は全ての画素で露光タイミングが同時であるため、被写体の形を反映した歪の無い被写体像が取得される。即ち、本発明に示す固体撮像素子を使用した場合、ローリングシャッタを用いている測距画素１２０では歪んだ被写体像が、グローバルシャッタを用いている測距画素１３０では歪の無い被写体像が取得できる。従って、両者の画像を歪の度合いの比較することで、被写体の動き情報を取得することができる。

具体的には、以下のようにすればよい。まず、測距画素１２０で取得した被写体像と測距画素１３０で取得した被写体像の、行方向および列方向の歪度合の差を比較する。次に、測距画素で取得した距離情報を用いて、像面上での歪量を、実際の被写体の歪量に変換する。最後に、ローリングシャッタによる露光タイミングのズレ時間（時間）と、実際の被写体の歪量（長さ）を用いて、被写体の動き情報（速度）に換算すれば良い。行方向の歪量はＸ方向の動きに対応し、列方向の歪量はＹ方向の動きに対応する。このように、本発明に示す固体撮像素子では、ローリングシャッタを用いた画素と、グローバルシャッタを用いた画素を混在させることで、高速に動く被写体の動き情報も取得することができる。

＜変形例１：画素境界にメモリを配置して開口率を向上＞
隣接した測距画素１２０と測距画素１３０において、画素内メモリ１３５、１３６を測距画素１３０と測距画素１２０の境界をまたぐように配置すれば、測距画素１３０中の光電変換部１３３および１３４の開口率低下も防げるため、更に好ましい（図１０）。このような固体撮像素子１１０を用いた場合、測距画素１２０、１３０双方において、暗い被写体に対する測距精度の低下を防止できる。即ち、被写体の輝度値変化の方向によらず、高速で動く被写体に対する測距精度の向上と、暗い被写体に対する測距精度の向上を両立させることができる。また、測距情報とともに画像情報を取得する場合に、測距画素１２０と測距画素１３０の感度差を補正する必要がなくなるため、更に好ましい。

＜変形例２：測距画素１３０のメモリを１個にして開口率を向上＞
また、図３では、光電変換部１３３、１３４に対して、各々画素内メモリ１３５、１３６を設けた例を示したが、光電変換部１３３、１３４に対して共通の画素内メモリ１３７を設けても良い（図１１）。図１１に示す測距画素１３０は、図３に示す測距画素１３０に対し、画素内メモリの数が少ないため、光電変換部の開口率を向上させることができる。その結果、測距画素１３０を用いた測距を行う際の、暗い被写体に対する測距精度を向上させることができるため、好ましい。

共通の画素内メモリ１３７を設けた測距画素１３０の画素信号検出動作を、図１２の回路図と、図１３の動作フローを用いて説明する。まず、リセットトランジスタ（ＲＳＴ）１７７および転送トランジスタ（ＴＸ）１７３をＯＮにし、光電変換部１３３および画素内メモリ１３７を全てリセットする。次に、全行のＴＸ１７３を同時にＯＦＦにし、光電変換部１３３への電荷蓄積を開始する。ＲＳＴ１７７をＯＦＦにした後、全行のＴＸ１７３を同時にＯＮにし、光電変換部１３３内の電荷を画素内メモリ１３７に転送する。転送後、ＴＸ１７３をＯＦＦにして、共通の画素内メモリ１３７に、光電変換部１３３から転送された電荷を保持する。最後に、選択トランジスタ（ＳＥＬ）１７８を、固体撮像素子１１０の上側の行から順次ＯＮにし、画素信号を周辺回路へ転送する。即ち、光電変換部１３３では、ＴＸ１７３がＯＦＦになってから、ＴＸ１７３がＯＮになるまでの時間Ｔｅｘｃが露光時間である。ここまでの動作で、光電変換部１３３で取得した信号をグローバルシャッタによって読み出すことができる。

次に、リセットトランジスタ（ＲＳＴ）１７７および転送トランジスタ（ＴＸ）１７４をＯＮにし、光電変換部１３４および画素内メモリ１３７を全てリセットする。次に、全行のＴＸ１７４を同時にＯＦＦにし、光電変換部１３４への電荷蓄積を開始する。ＲＳＴ１７７をＯＦＦにした後、全行のＴＸ１７４を同時にＯＮにし、光電変換部１３４内の電荷を画素内メモリ１３７に転送する。転送後、ＴＸ１７４をＯＦＦにして、共通の画素内メモリ１３７に、光電変換部１３４から転送された電荷を保持する。最後に、選択トランジスタ（ＳＥＬ）１７８を、固体撮像素子１１０の上側の行から順次ＯＮにし、画素信号を周辺回路へ転送する。即ち、光電変換部１３４では、ＴＸ１７４がＯＦＦになってから
、ＴＸ１７４がＯＮになるまでの時間Ｔｅｘｄが露光時間である。ここまでの動作で、光電変換部１３４で取得した信号を、グローバルシャッタによって読み出すことができる。

このように、図１１に示す測距画素１３０（第２の測距画素）では、光電変換部１３３で取得した信号と、光電変換部１３４で取得した信号の間では露光のタイミングがずれている。しかし、各行の光電変換部１３３同士では、露光タイミングが同時であるため、光電変換部１３３で取得したＣ像１５１は、各々が同一時刻の被写体を反映した像である（図１４）。同様に、各行の光電変換部１３４同士では、露光タイミングが同時であるため、光電変換部１３４で取得したＤ像１５２は、各々が同一時刻の被写体を反映した像である。従って、Ｃ像１５１の列方向に沿った輝度値変化と、Ｄ像１５２の列方向に沿った輝度値変化を比較することで、高速で動く被写体に対しても高精度な測距が行える。

被写体がＸ方向に移動する時、図１４からわかるように、Ｃ像１５１とＤ像１５２の間で、被写体の動きを反映したＸ方向（行方向）のズレ１５５が発生する。そのため、Ｃ像Ｄ像間で発生する行方向のズレ１５５を補正してから、像ズレ１５６を検出する方が好ましい。行方向のズレ１５５を補正する方法としては、例えば画像の特徴点を抽出し、Ｃ像Ｄ像間で特徴点が重なるようにＣ像またはＤ像を行方向へずらせばよい。瞳分割によって発生するＣ像Ｄ像間での像ズレ１５６は列方向であるため、行方向への像のシフトを行っても、Ｃ像Ｄ像間の列方向の視差情報は失われず、測距が可能である。

＜測距画素１２０および測距画素１３０の配置＞
図２では、行方向に瞳分割を行う測距画素１２０の列と列方向に瞳分割を行う測距画素１３０の列を互い違いに同数配置したが、どちらかの測距画素を多く配置しても良いし、互い違いに配置しなくても良い。また、測距画素のほかに全瞳領域からの光を取得する撮像画素を設けても良い。測距画素が一部のみの場合、測距画素の光電変換部からの信号の和から測距画素における画像情報を取得しても良いし、周囲の撮像画素で取得した画像から補間することで、測距画素における画像情報を取得しても良い。撮像画素からの信号はローリングシャッタで読み出しても良いし、グローバルシャッタで読み出しても良い。

＜測距画素中の光電変換部の数＞
図３では、測距画素中の光電変換部が２つである例を示したが、測距画素中の光電変換部は３つ以上でも良い。光電変換部の数を増やすことで、より詳細な瞳分割を行うことができる。

＜測距画素の変形例＞
また、測距画素として、図１５のように、結像光学系１０１の瞳の一部を通過する光束を検出する複数の画素を用いても良い。図１５に示す撮像画素１１１及び、測距画素１８０、１８１、１９０、１９１は、マイクロレンズ１１２、基板１１３内に配置された単一の光電変換部１１４を有している。また、測距画素１８０、１８１、１９０、１９１は、マイクロレンズ１１２と基板１１３の間に、マイクロレンズ１１２の光軸に対してシフトした遮光膜１１５を有している。

このような構成とすることで、測距画素１８０は、結像光学系１０１の＋Ｘ方向の瞳領域からの光束を選択的に受光し、測距画素１８１は、結像光学系１０１の−Ｘ方向の瞳領域からの光を選択的に受光する。測距画素１８０で取得した画像と、測距画素１８１で取得した画像では、Ｘ方向（行方向）に像ズレが生じるため、両者を比較することで測距を行うことができる。同様に、測距画素１９０、１９１は各々、結像光学系の＋Ｙ方向、−Ｙ方向の瞳領域からの光束を選択的に受光するように構成されている。測距画素１９０で取得した画像と、測距画素１９１で取得した画像では、Ｙ方向（列方向）に像ズレが生じるため、両者を比較することで測距を行うことができる。

行方向に瞳分割を行うために、測距画素１８０（１８１）の代わりに、全瞳領域からの光を取得する撮像画素１１１を使用しても良い。全瞳領域からの光を受光する撮像画素１１１で取得した信号と、測距画素１８０（１８１）で取得した信号の差から、−Ｘ方向（＋Ｘ方向）の瞳領域からの光束による信号を取得することができる。同様に、測距画素１９０（１９１）の代わりに、撮像画素１１１を用いて、信号の差分を求めることで列方向への瞳分割を行っても良い。

図１６は、図１５に示すような測距画素を有する固体撮像素子中の測距画素の配置を示したものである。図１６（ａ）に示す固体撮像素子は、図２に示す固体撮像素子１１０の配置に対し、測距画素１２０を測距画素１８０と１８１に、測距画素１３０を測距画素１９０と１９１に各々置き換えたものになっている。また、図１６（ｂ）に示す固体撮像素子は、測距画素１２０を測距画素１８０と撮像画素１１１に、測距画素１３０を測距画素１９０と撮像画素１１１に各々置き換え、信号の差分を求めることで測距を行う構成になっている。
図１６（ａ）に示す固体撮像素子の場合、行方向に瞳分割を行う測距画素１８０や１８１はローリングシャッタ、測距画素１９０や１９１はグローバルシャッタで信号を読み出せばよい。図１６（ｂ）に示す固体撮像素子のように、撮像画素１１１を用いて信号の差分によって瞳分割を行う場合は、撮像画素１１１の信号読出方式は次のようにすればよい。撮像画素１１１との差分を求める相手となる測距画素が１８０や１８１の場合は、この撮像画素１１１にはローリングシャッタを用いる。一方、撮像画素１１１との差分を求める相手となる測距画素が１９０や１９１の場合は、この撮像画素１１１にはグローバルシャッタを用いる。このような構成とすることで、全ての画素に対してグローバルシャッタを適用することなく、高速で動く被写体に対する測距精度を向上させることが可能となる。

（実施形態２）
実施形態２に示す固体撮像素子２１０は、実施形態１に示す固体撮像素子１１０に対し、Ｘ方向に瞳分割を行う第１の測距画素（実施形態２において測距画素２２０とする）の構成及び、動作フローのみが異なる。

図１７は、固体撮像素子２１０中の測距画素２２０の画素内構成を示した図面である。測距画素２２０は、光電変換部２２３、２２４に対応する画素内メモリ２２５、２２６が設けられている。そして、測距画素２２０は、画素内メモリ２２５、２２６を使用して相関２重サンプリング（ＣＤＳ：Correlated Double Sampling）を行っている点で、実施形態１の測距画素１２０と異なる。ＣＤＳとは、電荷転送前の画素内メモリのダークレベル信号をあらかじめ読み出しておき、電荷転送後の信号との差分を取ることで、回路のダークレベル信号を除去する技術である。

このような構成とすることで、回路のダークレベルを低減することが可能となり、測距画素２２０を用いた測距精度を向上させることができる。特に、暗い被写体ほどノイズによって測距精度が低下しやすいため、暗い被写体に対する測距精度向上の効果が大きい。

測距画素２２０の動作フローを、図１８の回路図および図１９の動作フローを用いて説明する。まず、リセットトランジスタ（ＲＳＴ）２６１、２６２および転送トランジスタ（ＴＸ）２６３、２６４をＯＮにし、光電変換部２２３、２２４および画素内メモリ２２５、２２６を全てリセットする。次に、固体撮像素子２１０の上側の行から順次ＴＸ２６３、２６４をＯＦＦにし、光電変換部２２３、２２４への電荷蓄積を開始する。

電荷蓄積を行っている間に、ＣＤＳを行うためのダークレベル信号を、あらかじめ読み
出しておく。具体的には、ＲＳＴ２６１、２６２をＯＮからＯＦＦにした後、固体撮像素子２１０の上側の行から順次、選択トランジスタ（ＳＥＬ）２６５、２６６をＯＮにして、画素内メモリ２２５、２２６のダークレベル信号を周辺回路に転送する。

続いて、固体撮像素子２１０の上側の行から順次、ＴＸ２６３、２６４をＯＮにし、光電変換部２２３、２２４の電荷を各々、画素内メモリ２２５、２２６に転送する。ＴＸ２６３、２６４をＯＦＦにして光電変換部と画素内メモリを分離した後、固体撮像素子２１０の上側の行から順次、選択トランジスタ（ＳＥＬ）２６５、２６６をＯＮにして、電圧信号を周辺回路に転送する。このとき読み取られた電圧信号は、光電変換部から画素内メモリに転送された電荷による画素信号と、ダークレベル信号の和になっている。

最後に、画素信号とダークレベルの和と、あらかじめ読み出しておいたダークレベル信号の差分を取ることで、画素信号のみを検出することができる。なお、図１９からわかるように、測距画素２２０では、露光時間Ｔｅｘが行毎にずれており、ローリングシャッタによる信号検出を行っている。

このように、実施形態２における固体撮像素子２１０は、Ｘ方向に瞳分割を行う測距画素２２０も、Ｙ方向に瞳分割を行う測距画素１３０も、共に画素内メモリを有しているが、画素内メモリの役割が異なっている。ローリングシャッタを採用した場合に、高速で動く被写体に対する測距精度の低下が問題となる測距画素１３０については、画素内メモリをグローバルシャッタに使用している。一方、ローリングシャッタを採用した場合に、高速で動く被写体に対する測距精度の低下が小さい測距画素２２０については、画素内メモリをＣＤＳに利用している。このような構成とすることで、高速で動く物体に対する測距精度を向上させつつ、全ての測距画素に対してグローバルシャッタを行った場合より、特に暗い被写体に対する測距精度を向上させることができる。

また、測距画素２２０で取得した信号から画像情報を取得する場合、ＣＤＳによるノイズ低減の効果により、測距精度の向上だけでなく、撮影画像の画質も同時に向上させることができる。

＜変形例＞
また、図２０に示すように、光電変換部２２３、２２４に対して共通の画素内メモリ２２７を設けてＣＤＳを行っても良い。この場合、以下のようにしてＣＤＳを行えば良い。まず、画素内メモリ２２７が空のときの信号からダークレベルを読み取る。次に、光電変換部２２３または２２４（第３の光電変換部）のどちらか一方の電荷を画素内メモリ２２７に転送して、光電変換部２２３または２２４（第３の光電変換部）のどちらか一方に蓄積された電荷による電圧信号と、ダークレベルの和を読み取る。最後に、もう一方の光電変換部（第４の光電変換部）に蓄積された電荷を画素内メモリ２２７に転送し、光電変換部２２３、２２４で取得した全電荷による電圧信号と、ダークレベルの和を読み取る。

これらの差分をとることで、画素信号のみを検出することができる。最初に光電変換部２２３の電荷を転送して第１の信号を、その後に光電変換部２２４の電荷を転送して第２の信号を読み取った場合を考える。この時、第２の信号と第１の信号の差分から光電変換部２２４で取得した画素信号が検出できる。また、第１の信号とダークレベルの差分から光電変換部２２３で取得した画素信号を検出できる。一方、最初に光電変換部２２４の電荷を転送して第１の信号を読み取り、次に光電変換部２２３の電荷を転送して第２の信号を読み取った場合を考える。この時、第２の信号と第１の信号の差分から光電変換部２２３で取得した画素信号を検出でき、第１の信号とダークレベルの差分から光電変換部２２４で取得した画素信号を検出できる。
また、測距画素１３０に、画素内メモリ１３５、１３６に加えてＣＤＳ用の画素内メモ
リを追加し、グローバルシャッタとＣＤＳを両立しても良い。但し、ＣＤＳ用のメモリも追加した場合、光電変換部の開口率が低下したり、他のトランジスタや配線の配置に制限が生じたりする。

（実施形態３）
実施形態３に示す固体撮像素子３１０は、実施形態２に示す固体撮像素子２１０と比較して、Ｙ方向に瞳分割を行う測距画素３３０（第２の測距画素）の動作フローのみが異なる。

測距画素３３０は、測距画素１３０と比較して、画素内メモリ３３５、３３６を使用してグローバルシャッタに加えてＣＤＳを行っている点が異なる。この時、光電変換部３３３、３３４のうち感度の低い方のみＣＤＳを行い、感度の高いほうについてはＣＤＳを行わずグローバルシャッタのみを行っている。
このような構成とすることで、測距画素３３０において、ダークレベル低減とグローバルシャッタの両立が可能となる。その結果、高速で動く被写体に対する測距精度を向上させつつ、暗い被写体に対する測距精度も向上させることができる。

測距画素３３０の信号読み出し方法を、図２１、２２を用いて説明する。図２１は測距画素３３０の回路図、図２２は動作フローである。ここでは、光電変換部３３３の感度の方が光電変換部３３４よりも高い場合について説明する。光電変換部３３４の方が光電変換部３３３よりも感度が高い場合、光電変換部３３３、３３４に接続されるトランジスタの動作タイミングを入れ替えればよい。

まず、測距画素３３０のリセットトランジスタ（ＲＳＴ）３７１、３７２および転送トランジスタ（ＴＸ）３７３、３７４をＯＮにし、光電変換部３３３、３３４および画素内メモリ３３５、３３６を全てリセットする。次に、全行のＴＸ３７３、３７４を同時にＯＦＦにし、光電変換部３３３、３３４への電荷蓄積を開始する。ＲＳＴ３７１、３７２をＯＦＦにした後、全行のＴＸ３７３、３７４を同時にＯＮにし、光電変換部３３３、３３４内の電荷を各々、画素内メモリ３３５、３３６に転送する。転送後、ＴＸ３７３、３７４をＯＦＦにして光電変換部と画素内メモリを分離し、画素内メモリ３３５、３３６に電荷を保持する。ここまでの動作は、図７、図８に示す測距画素１３０の動作フローと同じである。

続いて、画素内メモリ３３５に接続されたソースフォロアにて読み取った電圧信号を、選択トランジスタ（ＳＥＬ）３７５を、固体撮像素子３１０の上側の行から順次ＯＮにして、周辺回路に転送する。即ち、相対的に感度の高い光電変換部３３３（第１の光電変換部）で取得された画素信号は、グローバルシャッタのために画素内メモリ３３５（第１の画素内メモリ）で保持された後、ＣＤＳを行わずに読み出す。

次に、相対的に感度の低い光電変換部３３４から転送され、画素内メモリ３３６に保持されている電荷をＣＤＳによって読み出す動作に移る。まず、ＲＳＴ３７１をＯＮにして、画素内メモリ３３５をリセットする。ＲＳＴ３７５をＯＦＦにした後、画素内メモリ３３５が空のときのダークレベルを読み取り、ＳＥＬ３７５をＯＮにして周辺回路に転送する。その後、画素内メモリ間に配置された内部転送トランジスタ（Ｔｉｎ）３７９をＯＮにし、画素内メモリ３３６から画素内メモリ３３５へ電荷を転送する。そして、画素内メモリ３３５に転送された電荷による信号とダークレベルの和を読み取り、ＳＥＬ３７５を固体撮像素子３１０の上側の行から順次ＯＮにして周辺回路に転送する。

最後に、画素信号とダークレベルの和から、ダークレベルのみを除去することで、画素信号のみを検出することができる。即ち、感度の低い光電変換部３３４（第２の光電変換
部）で取得された電荷は、グローバルシャッタのために画素内メモリ３３６（第２の画素内メモリ）に保持された後、画素内メモリ３３５を利用してＣＤＳを行いつつ読み出されている。ＣＤＳを行うことによってダークレベルの影響を低減でき、測距精度を向上させることができる。

以上のように、測距画素３３０では、グローバルシャッタに加えてＣＤＳも行っている。特に、ノイズによって測距精度が低下しやすい、相対的に感度の低い光電変換部で取得した信号に対してのみ、ＣＤＳを行っている点が特徴である。

一般に、グローバルシャッタとＣＤＳを両立するには、グローバルシャッタを行うために電荷を保持するメモリと、電荷を保持したままＣＤＳを行うためにダークレベルを読み取るためのメモリの２つが必要となる。そのため、光電変換部を２つ有する測距画素においてグローバルシャッタとＣＤＳの両立を行う場合、単純な動作フローではメモリが４つ必要となってしまう。必要なメモリ数が増えると、光電変換部の開口率が低下したり、配線レイアウトに制限が生じたりしてしまう。

しかし、測距画素３３０は、相対的に感度の低い光電変換部で取得した信号にのみＣＤＳを行うことで、メモリ数が２つのままグローバルシャッタとＣＤＳの両立を可能としている。このような構成とすることにより、高速で動く被写体に対する測距精度を向上させつつ、暗い被写体に対する測距精度も向上させることができる。

＜画素構造による感度差＞
光電変換部３３３と光電変換部３３４の感度に差を設けるには、例えば画素構造に、入射光束分離方向（Ｙ方向）とは垂直な平面に対して非対称性を持たせればよい。図２３（ａ）は、光電変換部の開口率を非対称にして、光電変換部３３３の感度を光電変換部３３４よりも高くした例である。図２３（ｂ）はマイクロレンズ３３１の光軸と光電変換部の中心を＋Ｙ方向にずらして、−Ｙ方向側の光電変換部３３３の感度を＋Ｙ方向側の光電変換部３３４よりも高くした例である。同様に、図２３（ｃ）は、導光部３１６を光電変換部３３３の上に設けて、光電変換部３３３の感度を光電変換部３３４よりも高くした例である。図２３（ｄ）は吸収部３１７を光電変換部３３４の上に設けて、光電変換部３３３の感度を光電変換部３３４よりも高くした例である。

このように、意図的に光電変換部３３３と３３４の間に感度差を設けた場合、相対的に感度の高い光電変換部が予めわかっているため、それに応じた読み出し回路を用いることができる。例えば、図２１、図２２よりわかるように、光電変換部３３３の感度の方が光電変換部３３４よりも高い場合、画素内メモリ３３６に接続する増幅トランジスタ、選択トランジスタ、垂直信号線は使用しないため、省略することが可能となる。

＜画素配置による感度差＞
また、結像光学系の特性によっても、光電変換部３３３と３３４の感度に差が生じる。一般に、ズームやフォーカス状態により、結像光学系１０１の射出瞳位置は変化するため、固体撮像素子３１０の設計瞳位置と結像光学系の射出瞳位置は必ずしも一致しない。撮像素子の設計瞳位置と結像光学系の射出瞳位置が異なる場合、撮像素子内の各測距画素の位置に応じて、各測距画素で受光する光束が通過する瞳領域の偏心量は変化する。偏心量が大きくなると、二つの測距像を形成する光束の瞳透過率分布の間で差が生じる。また、口径食（ケラレ）によっても、二つの測距像を形成する光束の瞳透過率分布の間で差が生じる。

図２４に、結像光学系の射出瞳位置が固体撮像素子３１０の設計瞳位置よりも近い場合（例えばズームレンズの広角側で撮影した場合）を示す。図２４（ａ）は、固体撮像素子
３１０の−Ｙ方向の周辺領域における測距画素３３０で受光する光束の状態を示す。光電変換部３３３は、＋Ｙ方向の瞳領域３０３からの光束を受光し、光電変換部３３４は、−Ｙ方向からの瞳領域３０４からの光束を受光する。図２４（ａ）からわかるように、瞳領域３０３からの光束の拡がり角は、瞳領域３０４からの光束の拡がり角よりも大きい。従って、固体撮像素子の−Ｙ方向の周辺領域では、光電変換部３３３の感度は光電変換部３３４よりも高い。

同様に、図２４（ｂ）は、固体撮像素子３１０の＋Ｙ方向の周辺領域における測距画素３３０で受光する光束の状態を示す。図２４（ｂ）からわかるように、瞳領域３０４からの光束の拡がり角は瞳領域３０３からの光束の拡がり角よりも大きい。従って、固体撮像素子の＋Ｙ方向の周辺領域では、光電変換部３３４の感度は光電変換部３３３の感度よりも高い。

このように、結像光学系の特性により、固体撮像素子３１０中の測距画素３３０の位置によって、光電変換部３３３と光電変換部３３４の感度の大小関係が変わる場合がある。この場合、測距画素３３０の位置によって、ＣＤＳを行う光電変換部を変えれば良い。

特に、結像光学系の射出瞳位置と固体撮像素子の瞳位置の相違によって感度差が発生する場合、固体撮像素子の中心を通り瞳分割方向に垂直な直線を境界に、感度の大小関係が逆転する。そのため、固体撮像素子の中心を通り瞳分割方向に垂直な直線を境界に、ＣＤＳを行う光電変換部を入れ替えれば良い。例えば、図１２では、固体撮像素子３１０の−Ｙ方向の周辺領域では光電変換部３３４に対してＣＤＳを、＋Ｙ方向の周辺領域では光電変換部３３３に対してＣＤＳを行えば良い。

なお、結像光学系の特性によって光電変換部３３３と光電変換部３３４の感度の大小関係が決まる場合にも、相対的に感度の高い光電変換部を予め把握しておくことも可能である。例えば、固体撮像素子の設計瞳位置を無限遠に設定しておけば、固体撮像素子の瞳位置よりも結像光学系の瞳位置の方が必ず近くなるため、−Ｙ方向の周辺領域では光電変換部３３３の感度の方が高く、＋Ｙ方向の周辺領域では光電変換部３３４の感度の方が高い。前述したように、相対的に感度の高い光電変換部がわかっていれば、それに応じた読み出し回路を用いることができる。

（実施形態４）
実施形態４に示す固体撮像素子４１０は、実施形態１に示す固体撮像素子１１０と比較して、測距画素の配置が異なる。図２５は、固体撮像素子４１０中の、Ｘ方向（行方向）に瞳分割を行う測距画素４２０（第１の測距画素）と、Ｙ方向（列方向）に瞳分割を行う測距画素４３０（第２の測距画素）の配置を示したものである。図よりわかるように、固体撮像素子４１０においては、測距画素４３０が１行毎に配置されており、測距画素４３０が設けられていない行が存在する。

このように、測距画素４３０を含む画素列に、測距画素４２０も同時に配置されている場合、測距画素４３０を含む画素列の全ての画素にグローバルシャッタを適用しても良い。また、測距画素４３０を含む画素列において、測距画素４２０と測距画素４３０の動作を変えて、測距画素４３０のみにグローバルシャッタを適用しても良い。

測距画素４３０を含む画素列の全ての画素にグローバルシャッタを適用した場合、測距画素４３０を含む画素列中の測距画素４２０と、それとは同一行に配置された、測距画素４３０を含まない画素列中の測距画素４２０では露光タイミングが異なる。そのため、測距画素４３０を含む画素列中の測距画素４２０と、測距画素４３０を含まない画素列中の測距画素４２０のどちらかを用いて測距を行うことが好ましい。また、測距画素４３０を
含む画素列中の測距画素４２０と、測距画素４３０を含まない画素列中の測距画素４２０で、別々に測距を行い、両者を比較することで測距精度を向上させても良い。

測距画素４３０のみにグローバルシャッタを適用すれば、測距画素４３０を含まない画素列中の測距画素４２０と、同一行に配置された測距画素４３０を含む画素列中の測距画素４２０の、露光タイミングを同時にすることができる。そのため、測距画素４３０を含む画素列中の測距画素４２０と、測距画素４３０を含まない画素列中の測距画素４２０の双方を同時に用いて測距を行うことができる。その結果、サンプリングピッチが細かくなり、測距精度が向上するため、好ましい。

＜露光時間変化＞
また、測距画素４３０が全ての行には配置されていない場合、測距画素４３０が配置されている行と、測距画素４２０のみが配置されている行で、露光時間を変えることができる。その結果、測距精度が向上したり、測距画素で取得した画像の画質が向上したり、より正確な被写体の動き情報が取得できるため、好ましい。

まず、測距画素４３０が配置されている行の露光時間を、測距画素４２０のみが配置されている行の露光時間よりも長くした場合について説明する。前述したように、測距画素４３０はグローバルシャッタを行うための画素内メモリを有しているため、測距画素４２０よりも開口率が低い場合がある。測距画素４３０が配置されている行の露光時間を、測距画素４２０のみが配置されている行よりも長くした場合、開口率の低い測距画素４３０を用いた測距においても、暗い被写体に対する測距精度を向上させることができる。

次に、測距画素４３０が配置されている行の露光時間を、測距画素４２０のみが配置されている行の露光時間よりも短くした場合について説明する。前述したように、測距画素４２０で取得した画像と、測距画素４３０で取得した画像を比較することで、被写体の動き情報を取得することができる。測距画素４３０が配置されている行の露光時間を、測距画素４２０のみが配置されている行よりも短くした場合、測距画素４３０で取得した画像が、静止した被写体をより正確に反映した画像となる。その結果、被写体の動き情報をより正確に取得できる。

また、どちらの場合でも、測距画素４３０が配置されている行の測距画素４２０と、測距画素４３０が配置されていない行の測距画素４２０で、露光時間の異なる画像を取得することができる。その結果、測距画素４２０を用いて測距において、コントラスト比の大きな被写体に対する測距精度を向上させることができる。また、露光時間の異なる測距画素４２０で取得した画素信号を用いることで、撮影画像のダイナミックレンジを拡大させることもできる。

（実施形態５）
実施形態５に示す固体撮像素子５１０は、実施形態１に示す固体撮像素子１１０と比較して、測距画素の構成および動作方法が異なる。

図２６は、固体撮像素子５１０中の測距画素５８０の構成を説明する図であり、図２７は測距画素５８０の回路図である。測距画素５８０は、２行２列に配置された４つの光電変換部５８１、５８２、５８３、５８４と、画素内メモリ５８５、５８６を有する。光電変換部５８１は結像光学系の瞳領域のうち、＋Ｘかつ＋Ｙ方向の瞳領域からの光束を取得するよう構成されている。同様に、光電変換部５８２は＋Ｘかつ−Ｙ方向からの光束を、光電変換部５８３は−Ｘかつ＋Ｙ方向からの光束を、光電変換部５８４は−Ｘかつ−Ｙ方向からの光束を取得するよう構成されている。

測距画素５８０は、入射光束をＸ方向（行方向）に分離して取得する第１の測距モードと、入射光束をＹ方向（列方向）に分離して取得する第２の測距モードの、双方で動作可能になっている。入射光束を行方向に分離して取得する第１の測距モードでは、第１の列に並ぶ光電変換部５８１および５８２で取得した信号の和と、第２の列に並ぶ光電変換部５８３および５８４で取得した信号の和を比較することで、測距を行う。一方、入射光束を列方向に分離して取得する第２の測距モードでは、第１の行に並ぶ光電変換部５８１および５８３で取得した信号の和と、第２の行に並ぶ光電変換部５８２および５８４で取得した信号の和を比較することで、測距を行う。

そして、第１の測距モードではローリングシャッタで信号の読み出しを行い、第２の測距モードではグローバルシャッタで信号の読み出しを行う。このような構成とすることで、第１、第２の測距モードの双方でグローバルシャッタを用いた場合に対し、消費電力を低減させつつ、高速で動く被写体に対する測距精度を向上させることができる。また、後述するように、第１の測距モードと第２の測距モードで画素内メモリの役割を変えることで、特に暗い被写体に対する測距精度を向上させることもできる。

＜第１の測距モード＞
測距画素５８０の、第１の測距モード時の動作フローを、図２８を用いて説明する。基本的な動作フローは図１８、図１９に示す測距画素２２０と同じである。まず、ＴＸ５９１、５９２、５９５、５９６および、ＲＳＴ５９７、５９８をＯＮにして、光電変換部５８１、５８２、５８３、５８４と画素内メモリ５８５、５８６のリセットを行う。次に、固体撮像素子５１０の上側の行から順次、ＴＸ５９１、５９２、５９５、５９６をＯＦＦにして電荷蓄積を開始する。ＲＳＴ５９７、５９８をＯＦＦにした後、固体撮像素子５１０の上側の行から順次、ＳＥＬ５９９、５９０をＯＮにして、画素内メモリ５８５、５８６のダークレベル信号を周辺回路に転送する。続いて、固体撮像素子５１０の上側の行から順次、ＴＸ５９１、５９２、５９５、５９６をＯＮにし、光電変換部５８１、５８２に蓄積された電荷を画素内メモリ５８５へ、光電変換部５８３、５８４に蓄積された電荷を画素内メモリ５８６へ、各々転送する。ＴＸをＯＦＦにして光電変換部と画素内メモリを分離した後、固体撮像素子５１０の上側の行から順次、ＳＥＬ５９９、５９０をＯＮにして、画素信号と、ダークレベル信号を周辺回路に転送する。最後に、画素信号とダークレベル信号の和と、ダークレベル信号の差分を取ることで、画素信号のみを検出することができる。即ち、第１の測距モードではローリングシャッタとＣＤＳによって信号を読み出している。

＜第２の測距モード＞
測距画素５８０の、第２の測距モード時の動作フローを、図２９を用いて説明する。基本的な動作フローは図７、図８に示す測距画素１３０と同じである。まず、ＴＸ５９１、５９３、５９４、５９６および、ＲＳＴ５９７、５９８をＯＮにして、光電変換部５８１、５８２、５８３、５８４と画素内メモリ５８５、５８６のリセットを行う。次に、全行のＴＸ５９１、５９３、５９４、５９６を同時にＯＦＦにして電荷蓄積を開始する。ＲＳＴ５９７、５９８をＯＦＦにした後、全行のＴＸ５９１、５９３、５９４、５９６を同時にＯＮにし、光電変換部５８１、５８３に蓄積された電荷を画素内メモリ５８５へ、光電変換部５８２、５８４に蓄積された電荷を画素内メモリ５８６へ、各々転送する。転送後、ＴＸをＯＦＦにして光電変換部と画素内メモリを分離し、画素内メモリ５８５、５８６に電荷を保持する。最後に、固体撮像素子５１０の上側の行から順次、ＳＥＬ５９９、５９０をＯＮにして、画素信号を周辺回路へ転送する。即ち、第２の測距モードはグローバルシャッタによる信号検出を行っている。

＜本実施形態の効果＞
このように、固体撮像素子５１０中の測距画素は、第１の測距モードと第２の測距モー
ドで画素内メモリの役割を変えている。入射光束をＹ方向（列方向）に分離して取得する第２の測距モードでは、ローリングシャッタで信号を読み出した場合に、高速で動く物体に対する測距精度の低下が問題となる。そこで、第２の測距モードでは、画素内メモリをグローバルシャッタに使用して、高速で動く物体に対する測距精度を向上することができる。一方、入射光束をＸ方向（行方向）に分離して取得する第１の測距モードでは、ローリングシャッタで信号を読み出した場合でも、高速で動く物体に対する測距精度の低下が小さい。そこで、第１の測距モードでは、画素内メモリをＣＤＳに用いることで、特に暗い被写体に対する測距精度を向上することができる。

＜信号読出方式の変形例＞
なお、ここでは光電変換部内の電荷を、各々独立に転送トランジスタで転送する例を示したが、光電変換部間にゲート電極を設けて、複数の光電変換部を接続してから、電荷を転送しても良い。また、実施形態３に示した方法を用いて、第２の測距モードの際に、相対的に感度の低い光電変換部からの信号に対して、グローバルシャッタとＣＤＳを両立させても良い。具体的には、第１の行に並ぶ光電変換部と第２の行に並ぶ光電変換部のうち、（行全体として）感度の高い方の行の光電変換部で取得した電荷は、対応する画素内メモリに転送してから読み出す。一方、相対的に感度の低い方の行の光電変換部で取得した電荷は、対応するメモリに転送した後、他方の画素内メモリを利用してＣＤＳを行ってから読み出せばよい。

＜画素内メモリ共有＞
図２６では光電変換部４つに対して画素内メモリが２つの場合を示したが、画素内メモリは２つでなく１つであっても良い。画素内メモリが１つの場合には、第１の測距モードの場合には図２０に示した測距画素２２０と同様のフローを用いてローリングシャッタとＣＤＳを行えば良い。また、第２の測距モードでは、図１１に示した測距画素１３０と同様のフローを用いてグローバルシャッタを行えば良い。画素内メモリ数が少ない方が、光電変換部の開口率を大きくすることができ、特に暗い被写体に対する測距精度が向上するため、好ましい。

（その他の変形例）
＜瞳分割方向の変形＞
以上の実施形態では、瞳分割方向がＸ方向（行方向）の測距画素とＹ方向（列方向）である測距画素である例を示したが、瞳分割方向が斜め方向であっても良い。この場合、相対的に列方向とのなす角度が大きい第１の方向に入射光束を分離して検出する第１の測距画素に対してはローリングシャッタを用いる。一方、第１の方向よりも列方向とのなす角度が小さい第２の方向に入射光束を分離して検出する第２の測距画素に対してはグローバルシャッタを用いる。なぜならば、信号を読み出す列方向とのなす角度が小さいほど、高速で動く被写体をローリングシャッタで撮影した場合の測距精度の低下度合いが小さいためである。但し、瞳分割方向は行方向と列方向である方が、以下のような理由で好ましい。

第１に、瞳分割方向が行方向である場合が、高速で動く被写体をローリングシャッタで撮影した場合の測距精度の低下度合いが最も小さい。第２に、異なる測距画素の瞳分割方向のなす角度が垂直に近いほど、被写体が有する輝度値変化の方向によらない測距が行える。第３に、画素配列の方向と瞳分割方向を合わせた方が、サンプリングピッチが細かくなるため測距精度が向上する。

＜グローバルシャッタの変形＞
また、瞳分割方向がＹ方向（列方向）の測距画素において、必ずしもグローバルシャッタを用いて露光タイミングを同時にする必要はない。露光タイミングが完全に同時ではな
くても、異なる行の測距画素において、ローリングシャッタよりも露光タイミングの相違が小さくなっていれば良い。具体的には、例えば上側の行から順次信号を読み出す場合、下側の行に位置する測距画素ほど、画素内メモリでの電荷保持時間を長くすれば良い。但し、異なる行の露光タイミングの相違が小さい方が好ましいため、異なる行の測距画素の露光タイミングが完全に同じである、グローバルシャッタを用いる方が好ましい。

＜瞳分割方法の変形＞
なお、以上では瞳分割の方法としてマイクロレンズによる方法を用いたが、これに限定されるものではない。図３０（ａ）に示すように導波路１１８を用い、導波モードによって分割を行っても良い。第一の瞳領域を通って導波路に入射する光が結合する支配的な導波モードと、第二の瞳領域を通って導波路に入射する光が結合する支配的な導波モードが異なる。そのため、第一の瞳領域を通った光束を選択的に第一の光電変換部に導き、第二の瞳領域を通った光束を選択的に第二の光電変換部に導くことができる。図３０（ｂ）に示すように瞳分割用の導波路１１８と、光電変換部への導光用の導波路１１９を用いても良いし、マイクロレンズと導波路を同時に用いても良い。導波路を用いる事で、画素に入射した光を効率良く光電変換部に導くことが可能となり、より高品質な測距像を得ることができ、より高精度な測距ができる。

また、マイクロレンズと基板の間にカラーフィルタを設け、色情報を同時に取得しても良い。この時、測距画素を特定の色の画素にのみ設けても良いし、測距画素を複数の色の画素に設けても良い。測距画素を複数の色の画素に設けた場合、測距画素で取得した被写体の色情報を用いることで、高精度な測距を行うことができる。

１１０：固体撮像素子
１２０：第１の測距画素
１３０：第２の測距画素
１３５，１３６：画素内メモリ

Claims (24)

1. 行列状に配置された複数の画素を有し、各画素の信号を行単位で取得する固体撮像素子であって、
   前記固体撮像素子への入射光束を第１の方向に分離して検出する第１の測距画素と、前記固体撮像素子への入射光束を列方向とのなす角度が前記第１の方向よりも小さい第２の方向に分離して検出する第２の測距画素と、がそれぞれ行列状に配置されており、
   前記第２の測距画素は、画素内メモリを有しており、異なる行に配置された複数の第２の測距画素において前記画素内メモリに電荷を保持する時間を行毎に変えることによって、異なる行に配置された複数の第２の測距画素の露光タイミングの相違が異なる行に配置された複数の第１の測距画素の露光タイミングの相違よりも小さくなるように構成されている、
   ことを特徴とする、固体撮像素子。
2. 前記第１の方向が行方向である、
   ことを特徴とする、請求項１に記載の固体撮像素子。
3. 第２の方向が列方向である、
   ことを特徴とする、請求項１または２に記載の固体撮像素子。
4. 異なる行に配置された第２の測距画素の露光タイミングが同時である、
   ことを特徴とする、請求項１から３のいずれか１項に記載の固体撮像素子。
5. 第１の測距画素の中の光電変換部の開口率が、第２の測距画素の中の光電変換部の開口率よりも大きい、
   ことを特徴とする、請求項１から４のいずれか１項に記載の固体撮像素子。
6. 第２の測距画素で取得した画素信号の値が第１の値よりも小さい場合には第１の測距画素で取得した画像情報を使用し、第１の測距画素で取得した画素信号の値が第１の値より大きな第２の値よりも大きい場合には第２の測距画素で取得した画像情報を使用し、両者を合成した画像情報を生成する、
   ことを特徴とする、請求項５記載の固体撮像素子。
7. 前記画素内メモリが、隣接する第１の測距画素と第２の測距画素の境界をまたぐように配置されている、
   ことを特徴とする、請求項１から６のいずれか１項に記載の固体撮像素子。
8. 前記第２の測距画素の中の複数の光電変換部で取得した電荷を、順次、第２の測距画素の中の同一の画素内メモリに転送して読み出す、
   ことを特徴とする、請求項１から７のいずれか１項に記載の固体撮像素子。
9. 前記第２の測距画素の複数の光電変換部で取得した画像に対して、行方向のずれを補正する処理を行う、
   ことを特徴とする、請求項８に記載の固体撮像素子。
10. 前記第２の測距画素は、第１の光電変換部、前記第１の光電変換部よりも感度の低い第２の光電変換部、第１の画素内メモリ、および第２の画素内メモリを有しており、
    前記第１の光電変換部で取得した電荷を前記第１の画素内メモリに転送すると同時に、前記第２の光電変換部で取得した電荷を前記第２の画素内メモリに転送した後、前記第１の画素内メモリの信号を読み取り、前記第２の画素内メモリの信号は、前記第１の画素内メモリに転送してから読み出す、
    ことを特徴とする、請求項１から９のいずれか１項に記載の固体撮像素子。
11. 第２の測距画素の構造が、第２の方向とは垂直な平面に対して非対称である、
    ことを特徴とする、請求項１０に記載の固体撮像素子。
12. 前記固体撮像素子の中心を通り、第２の方向に垂直な直線を境界に、第１の光電変換部と、第２の光電変換部の配置が逆転している、
    ことを特徴とする、請求項１０に記載の固体撮像素子。
13. 第１の測距画素が画素内メモリを有しており、第１の測距画素からの信号を、相関２重サンプリングを用いて読み出す、
    ことを特徴とする、請求項１から１２のいずれか１項に記載の固体撮像素子。
14. 前記第１の測距画素は第３の光電変換部および第４の光電変換部を有しており、
    前記第３の光電変換部で取得した電荷を、前記画素内メモリに転送してから読み出した後、前記第４の光電変換部で取得した電荷を前記画素内メモリに転送し、前記第３の光電変換部で取得した電荷と前記第４の光電変換部で取得した電荷の和を読み出す、
    ことを特徴とする、請求項１３に記載の固体撮像素子。
15. 第２の測距画素が設けられていない行が存在する、
    ことを特徴とする、請求項１から１４のいずれか１項に記載の固体撮像素子。
16. 第２の測距画素を含む行と、第２の測距画素を含まない行の、露光時間が異なる、
    ことを特徴とする、請求項１５に記載の固体撮像素子。
17. 第２の測距画素を含まない行よりも、第２の測距画素を含む行の、露光時間が長い、
    ことを特徴とする、請求項１６に記載の固体撮像素子。
18. 第２の測距画素を含まない行よりも、第２の測距画素を含む行の、露光時間が短い、
    ことを特徴とする、請求項１６に記載の固体撮像素子。
19. 第１の方向および列方向とのなす角度が前記第１の方向よりも小さい第２の方向にそれぞれ２つずつ並んで配置される４つの光電変換部と少なくとも１つの画素内メモリとを各々が備える複数の測距画素を含む複数の画素が行列状に配置され、各画素の信号を行単位で取得する固体撮像素子と、
    前記固体撮像素子の出力信号を用いて被写体までの測距を行う演算処理部と、
    前記固体撮像素子への入射光束を前記第１の方向に分離して検出する第１の測距モードと、前記固体撮像素子への入射光束を前記第２の方向に分離して検出する第２の測距モードのいずれかのモードで測距を行うように制御する制御手段と、を備え、
    前記制御手段は、前記第１の測距モードでは、前記複数の測距画素の各々からダークレベル信号を読み出し、その後、前記第２の方向に並ぶ一方の２つの光電変換部の信号の和と前記第２の方向に並ぶ他方の２つの光電変換部の信号の和をそれぞれ読み出し、読み出した２つの和信号と前記ダークレベル信号との差分を取ることで相関２重サンプリング処理を施し、前記相関２重サンプリング処理を施された２つの和信号を比較することにより前記被写体までの測距を行うように制御し、
    第２の測距モードでは、前記複数の測距画素の各々において、前記第１の方向に並ぶ一方の２つの光電変換部の信号の和と前記第１の方向に並ぶ他方の２つの光電変換部の信号の和をそれぞれ前記画素内メモリに転送し、前記複数の測距画素が配置された行毎に前記画素内メモリに信号を保持する時間を異ならせることで行毎の露光タイミングの相違が前記第１の測距モードよりも小さくなるように制御し、前記画素内メモリから読み出した２つの和信号を比較することにより前記被写体までの測距を行うように制御することを特徴とする測距装置。
20. 前記複数の測距画素の各々は、第１の画素内メモリおよび第２の画素内メモリを有することを特徴とする請求項１９に記載の測距装置。
21. 前記制御手段は、第２の測距モードにおいて、相対的に感度の高い光電変換部の信号を前記第１の画素内メモリに転送してから読み出し、相対的に感度の低い光電変換部の信号を前記第２の画素内メモリに転送した後、前記第１の画素内メモリに転送してから読み出すことを特徴とする請求項２０に記載の測距装置。
22. 請求項１から１８のいずれか１項に記載の固体撮像素子と、結像光学系と、演算処理部を備えた測距装置。
23. 結像光学系をさらに備えた請求項１９乃至２１のいずれか１項に記載の測距装置。
24. 請求項１９乃至２３のいずれか１項に記載の測距装置を備えた、撮像装置。

Images