JP6723774B2 - 撮像素子、撮像装置、測距装置及び移動体 - Google Patents

Description

本発明は、撮像素子、撮像装置、測距装置及び移動体に関する。

ＣＭＯＳセンサやＣＣＤセンサ等の撮像素子を用いた撮像装置を、例えば、自動車等の移動体に搭載して進行方向の情報を取得する目的に用いる場合、撮像機能に加えて、移動体の進行方向に現れる各種の物体に対する測距機能が求められる。ここで、画像情報と同時に距離情報を取得する方法として、撮像面位相差方式と呼ばれる方法があり、撮像面位相差方式を用いて画質を低下させることなく、焦点検出精度を高めるための技術が提案されている（特許文献１参照）。撮像面位相差方式では、撮像光学系（レンズ）の瞳上の異なる領域（瞳領域）を通過した光束による画像（以下「視差画像」という）の視差（像ズレ量）から、三角測距の原理でデフォーカス量や被写体の距離情報を求める。例えば、光を透過させるための開口部が異なる位置に形成された２種類の画素を有する撮像素子を用い、各画素のマイクロレンズにより画素内の各開口部と撮像光学系における瞳領域とを光学的に共役な関係にすることで、視差画像を取得することができる。

特許第５０６７１４８号公報

撮像素子において視差画像を取得するための２種類の画素をそれぞれＡ画素、Ｂ画素とする。このとき、Ａ画素が行方向に並べられたＡ画素行とＢ画素が行方向に並べられたＢ画素行とが列方向に並べられた構成では、被写体が斜め線を多く含む場合に測距誤差が大きくなってしまうという問題がある。具体的には、視差が生じていないにもかかわらず、視差が生じていることを示す信号がＡ画素とＢ画素から出力されてしまうことがある。また、上記特許文献１に記載されているように、Ａ画素とＢ画素とが交互に一列（又は一行）に配置された構成では、視差方向にずれた位置で視差画像を取得するため、被写体が斜め線を多く含む場合に測距誤差が発生する。また、視差方向での解像度が下がるため、視差量の検出分解能が落ちることで、測距精度が低下するという問題がある。

本発明は、被写体に依存することなく高い測距精度を得ることが可能な撮像素子を提供することを目的とする。

本発明に係る撮像素子は、互いに直交する第１の方向と第２の方向に配置された複数の画素を有する撮像素子であって、前記複数の画素は、第１のマイクロレンズと、前記第１のマイクロレンズの光軸から前記第１の方向に偏心した位置に第１の開口部が設けられた第１の遮光膜と、を有する複数の第１の画素と、第２のマイクロレンズと、前記第２のマイクロレンズの光軸から前記第１の画素で前記第１の開口部が設けられた方向の逆方向に偏心した位置に第２の開口部が設けられた第２の遮光膜と、を有する複数の第２の画素と、第３のマイクロレンズと、前記第３のマイクロレンズの光軸を含むように第３の開口部が設けられた第３の遮光膜と、を有する第３の画素と、を備え、前記撮像素子は、複数の前記第１の画素と複数の前記第２の画素とが前記第１の方向に交互に並んだ第１の行が前記第２の方向に複数並んだ第１の行群を有し、前記第１の行群の少なくとも一部において前記第１の画素と前記第２の画素とが前記第２の方向に隣接して配置され、複数の前記第３の画素が前記第１の方向に並んだ第２の行が前記第２の方向に複数並んだ第２の行群を有し、前記第１の行群と前記第２の行群とが前記第２の方向に交互に並んでいることを特徴とする。なお、本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明によれば、被写体に依存することなく高い測距精度を得ることができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図と、撮像装置が備える撮像素子の概略構成を説明する正面図である。 撮像装置を構成する撮像素子における測距画素群と撮像画素群の第１の配置パターンを正面図、正面図中の矢視Ａ−Ａでの断面図、正面図中の矢視Ｂ−Ｂでの断面図、撮像装置を構成する撮像光学系の射出瞳上の各領域を説明する正面図である。 撮像素子を構成する測距画素及び撮像画素の形状パラメータを説明する図である。 測距画素群を構成する測距画素の構造の変形例を示す正面図と、正面図中の矢視Ｃ−Ｃの断面図である。 撮像素子における測距画素群と撮像画素群の第２の配置パターン、第３の配置パターン及び第４の配置パターンを示す図である。 撮像素子における測距画素群と撮像画素群の第５の配置パターン、第６の配置パターン及び第７の配置パターンを示す図である。 図６（ｂ）の測距画素群と撮像画素群の第６の配置パターンでの撮像画素群におけるカラーフィルタの配置パターンを示す図である。 測距画素から構成される撮像素子の第１の例と第２の例を示す図である。 撮像装置を自動車に搭載した場合のシステム構成の一例を示す図である。 図９の自動車での衝突防止制御のフローチャートである。 撮像素子を構成する測距画素と撮像画素の別の例を示す断面図と、撮像装置の撮像光学系に設けられる開口絞りの概略構成を示す正面図である。 撮像装置を構成する撮像素子における測距画素群と撮像画素群の第８の配置パターンを正面図、正面図中の矢視Ｃ−Ｃでの断面図、正面図中の矢視Ｄ−Ｄでの断面図、撮像装置を構成する撮像光学系の射出瞳上の各領域を説明する正面図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態では、自動車やドローン、ロボット等の移動体の移動を支援するための画像情報及び距離情報の取得に好適な構成を有する撮像装置について説明する。但し、本発明に係る撮像素子は、このような用途に限定されるものではない。

図１（ａ）は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、制御部１、撮像光学系２、レンズ制御部３、撮像素子制御部４、画像処理部５、測距演算部６、表示部７、操作部８、記憶部９、撮像素子１０及び通信Ｉ／Ｆ１１を備える。撮像光学系２は、複数のレンズ及び絞り１２を有する。なお、説明の便宜上、図１（ａ）に示すように、撮像光学系２の光軸方向をＸ方向とし、Ｘ方向と直交すると共に互いに直交するＹ方向とＺ方向を規定する。Ｙ方向及びＺ方向はそれぞれ、撮像素子１０における第１の方向（行方向）及び第２の方向（列方向）となり、撮像素子１０の構成についての以下の説明では説明が容易であるため「行方向」及び「列方向」の表現を用いる。なお、「行方向」と「列方向」を入れ換えることにより、Ｙ方向（第１の方向）を「列方向」に、Ｚ方向（第２の方向）を「行方向」としてもよい。

撮像光学系２は、被写体像を撮像素子１０に結像させる。撮像光学系２は、ミラーを有してもよく、反射系又は反射屈折光学系の構成となっていてもよい。レンズ制御部３は、撮像光学系２におけるレンズ位置を調整することにより焦点位置を制御する。撮像素子１０は、具体的には、ＣＭＯＳセンサ及びその周辺回路から構成されている。撮像素子１０は、撮像光学系２により結像された被写体光学像を光電変換することにより、視差画像（第１の画像，第２の画像）を生成するための電気信号と、撮影画像（第３の画像）を生成するための電気信号とを生成する。つまり、撮像素子１０は、画像情報の取得と共に、撮像面位相差方式による距離情報の取得が可能となっており、その詳細な構成については後述する。

撮像素子制御部４は、制御部１からの指示に従って撮像素子１０を構成する画素に対する電荷の蓄積、画素からの信号の読み出し等を制御し、取得した電気信号を制御部１へ供給する。画像処理部５は、撮像素子１０を構成する撮像画素（詳細は後述する）から出力される電気信号を取得し、γ変換やカラー補間等の画像処理を行って撮影画像を生成し、生成した撮影画像に対して被写体認識処理（特徴解析）を行う。また、画像処理部５は、撮像素子１０を構成する測距画素（詳細は後述する）から出力される電気信号を取得し、視差画像を生成する。なお、被写体認識処理には、周知の方法を用いることができ、よって、ここでの説明は省略する。

測距演算部６は、画像処理部５が生成した視差画像に基づき、画像処理部５が被写体認識処理により検出した被写体に対する測距演算を行い、距離情報を算出する。但し、このような方法に限定されず、別の方法で距離情報を算出してもよく、例えば、認識処理を介さずに画面全体に対して測距演算を行ってもよい。その場合、取得した視差画像に基づいて測距演算部６が距離情報を各画素で演算して距離画像（デプスマップ）を生成し、撮影画像と距離画像とに基づいて画像処理部５が対象物を検出するようにしてもよい。なお、画像処理部５が生成した視差画像から視差を求めて、デフォーカス量や対象物までの距離を求める方法は周知であるため、ここでの説明を省略する（例えば、米国特許出願公開第２０１５／００９７９９１号明細書参照）。

なお、被写体の距離情報とは、被写体までの距離、デフォーカス量、視差（位相差、像ズレ量）等の被写体の位置に関する情報であり、奥行情報或いは深さ情報と呼ばれることもある。また、視差の算出方法（測距演算）については、ＳＳＤＡ法や面積相関法等の周知の技術を用いることができ、その詳細についての説明は省略する。制御部１は、ＣＰＵ（演算処理回路）、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ及びＤ／Ａコンバータ等を有する。ＣＰＵがＲＯＭに記憶されたコンピュータプログラムをＲＡＭに展開することにより、撮像装置１００を構成する各部の動作が制御されることで、撮像装置１００の全体的な制御が実現される。

なお、制御部１は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装されていてもよい。また、例えば、撮像装置１００を車載カメラとして用いる場合、車載カメラに内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、そのプログラムをコンピュータに実行させることで、各部の処理が実現される構成であってもよい。更に、制御部１は、撮像装置１００を構成する各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサであってもよい。測距演算部６及び画像処理部５についても同様で、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装してもよい。また、例えば、撮像装置１００を車載カメラとして用いる場合、車載カメラに内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、そのプログラムをコンピュータに実行させることで、各部の処理を実現してもよい。更に、測距演算部６及び画像処理部５として、各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けてもよい。

表示部７は、例えば、液晶表示装置（ＬＣＤ）等であり、画像処理部５や測距演算部６により求められた画像情報や距離情報等の各種情報を表示する。なお、撮像装置１００は表示部７を備えていない構成であっても構わず、例えば、通信Ｉ／Ｆ１１を介して外部の表示装置に撮影画像等を表示可能な構成となっていてもよい。操作部８は、制御部１に対して各種の指令を与えるスイッチやボタン等である。記憶部９は、例えば、撮像装置１００に対して着脱自在なフラッシュメモリ等の半導体メモリ等であり、画像情報や距離情報を記憶する。通信Ｉ／Ｆ１１は、外部機器（例えば、撮像装置１００が移動体（不図示）等に搭載されている場合には、移動体の制御装置）との通信（データ送受信）を行う。

図１（ｂ）は、撮像素子１０の概略構成を説明する正面図であり、一部の領域１０ａを拡大して示している。自動車等の移動体に搭載されてその進行方向に現れる各種の物体に対する情報を取得する用途に撮像装置１００を用いる場合、撮像素子１０からの出力信号に基づき、撮影画像内の被写体認識と認識した被写体に対する測距とを正確且つ迅速に行う必要がある。そこで、撮像素子１０の撮像面は、行方向（Ｙ方向）と直交する列方向（Ｚ方向）に、測距画素群（第１の行群）と撮像画素群（第２の行群）とが交互に配置された構造を有する。測距画素群は、測距画素（詳細は後述する）が行方向に並べられてなる測距画素行（第１の行）が列方向に複数並べられることで構成されている。同様に、撮像画素群は、撮像画素（詳細は後述する）が行方向に並べられてなる撮像画素行（第２の行）が列方向に複数並べられることで構成されている。測距画素は、撮像光学系２を通して受光した光束を光電変換することにより、視差画像を生成するための電気信号を出力する。撮像画素は、撮像光学系２を通して受光した光束を光電変換することにより、撮影画像を生成するための電気信号を出力する。

次に、測距画素群と撮像画素群の構成及び撮像画素と測距画素の構成の例について説明する。図２（ａ）は、撮像素子１０における測距画素群と撮像画素群の第１の配置パターンを示す正面図であり、行方向では一部（６画素分）を、列方向では１周期分（４画素分）を示している。第１の配置パターンでは、測距画素群と撮像画素群は、図２（ａ）に示した測距画素群と撮像画素群を一群として、列方向に繰り返して周期的に配置される。なお、ここでの「１周期分」とは、撮像画素群に設けられるカラーフィルタの配置を考慮しない、測距画素群と撮像画素群の１周期分である。したがって、カラーフィルタの配置を考慮すると、列方向の１周期分は整数倍になる。例えば、ベイヤ配列の場合、列方向の１周期分は８画素分（４画素分×２）となる。

第１の配置パターンにおいて、測距画素群は、測距画素２１（第１の画素）と測距画素２２（第２の画素）とが２行×複数列に配置されて構成されている。それぞれの測距画素行において、測距画素２１，２２は行方向に交互に配置されている。そして、測距画素２１，２２は、列方向においても交互に配置されている。こうして、測距画素２１，２２は、測距画素群において、市松模様状に配置されている。

図２（ｂ）は、図２（ａ）中の矢視Ａ−Ａでの断面図であり、行方向における測距画素２１，２２の１周期分の断面構造を示している。測距画素２１は、光電変換部であるフォトダイオードＰＤの前面（撮像光学系２側）に、第１の遮光膜３１及び第１のマイクロレンズＭＬ１が配置された構造を有する。同様に、測距画素２２は、光電変換部であるフォトダイオードＰＤの前面に、第２の遮光膜３２及び第２のマイクロレンズＭＬ２が配置された構造を有する。第１の遮光膜３１において第１のマイクロレンズＭＬ１の光軸ＯＡ１から行方向に偏心した位置（ここでは右側）には、第１の開口部３１ａが設けられている。また、第２の遮光膜３２において、第２のマイクロレンズＭＬ２の光軸ＯＡ２から第１の遮光膜３１で第１の開口部３１ａが設けられた方向の逆方向に偏心した位置（ここでは行方向の左側）には、第２の開口部３２ａが設けられている。測距画素２１のフォトダイオードＰＤは、第１の開口部３１ａを通過した光を光電変換し、電気信号を出力する。測距画素２２のフォトダイオードＰＤは、第２の開口部３２ａを通過した光を光電変換し、電気信号を出力する。

撮像画素群は、撮像画素２３（第３の画素）が２行×複数列に配置されて構成されている。ここでは、撮像画素２３と測距画素２１，２２を同じ形状（大きさ）に設定している。図２（ｃ）は、図２（ａ）中の矢視Ｂ−Ｂでの断面図であり、１個の撮像画素２３の断面構造を示している。撮像画素２３は、光電変換部であるフォトダイオードＰＤの前面に、第３の遮光膜３３、カラーフィルタＣＦ及び第３のマイクロレンズＭＬ３が配置された構造を有する。第３の遮光膜３３には、第３のマイクロレンズＭＬ３の光軸ＯＡ３を含む位置に第３の開口部３３ａが設けられている。なお、カラーフィルタＣＦの具体的な配置パターンについては後述する。また、撮像装置１００では、後述するように、測距画素２１，２２が設けられている領域での画像情報をその周辺の撮像画素２３の画像情報を用いて補完することによって求める。

ここで、第１の開口部３１ａ、第２の開口部３２ａ及び第３の開口部３３ａと撮像光学系２の射出瞳との関係について説明する。図２（ｄ）は、撮像光学系２の射出瞳上の各領域を説明する正面図である。絞り１２の開口１２０上（撮像光学系２の射出瞳上）には、第１の領域１５、第２の領域１６及び第３の領域１７がある。ここでは、第１の領域１５と第２の領域１６として楕円形状のものを示しているが、これに限定されず、例えば、円形状又は多角形状のものであってもよい。第１の領域１５と第２の領域１６を、Ｚ方向幅がＹ方向幅よりも長い形状とすることで、測距画素２１，２２から出力される電気信号のＳ／Ｎ比を高めることができる。

第１の領域１５を透過した光束（第１の光）は、測距画素２１の第１の開口部３１ａに主に集光し、第２の領域１６を透過した光束（第２の光）は、測距画素２２の第２の開口部３２ａに主に集光する。第３の領域１７を透過した光束（第３の光）は、撮像画素２３の第３の開口部３３ａに主に集光し、撮像画素２３からの出力信号により撮影画像が生成される。換言すれば、第１の遮光膜３１は、撮像光学系２の射出瞳の第１の領域１５を通過した第１の光よりも第２の領域１６を通過した第２の光と第３の領域１７を通過した第３の光を多く遮光する。第２の遮光膜３２は、前記第２の光よりも前記第１の光と前記第３の光を多く遮光し、第３の遮光膜３３は、前記第３の光よりも前記第１の光と前記第２の光を多く遮光する。更に換言すれば、第１の開口部３１ａは、前記第２の光と前記第３の光よりも前記第１の光を多く透過し、第２の開口部３２ａは、前記第１の光と前記第３の光よりも前記第２の光を多く透過する。第３の開口部３３ａは、前記第１の光と前記第２の光よりも前記第３の光を多く透過する。

測距画素２１のフォトダイオードＰＤからの出力信号により第１の画像が生成され、測距画素２２のフォトダイオードＰＤからの出力信号により第２の画像が生成され、こうして、第１の画像と第２の画像とを有する視差画像が生成される。第１の画像と第２の画像とに視差が生じる視差方向は、行方向となる。このとき、測距画素群では、それぞれの測距画素行において、第１の開口部３１ａと第２の開口部３２ａとが行方向で隣り合うように配置された測距画素２１，２２が更に行方向に繰り返して配置されている。そして、列方向でも測距画素２１，２２が交互に隣接して配置されることにより、測距画素群では測距画素２１，２２が市松模様状に配置されている。このような構成とすることにより、斜め線を多く含む被写体であっても、ほぼ同数の測距画素２１，２２で測距誤差が互いに視差方向の逆方向に出て相殺されることで、第１の画像と第２の画像での視差方向のずれが小さくなり、測距誤差を低減させることができる。また、同一の被写体に対して視差画像を高い解像度で取得することができ、列方向での視差量の検出分解能が落ちることはなく、高い精度での測距が可能となる。

図３は、測距画素２１，２２及び撮像画素２３の形状パラメータを説明する図である。撮像素子１０において、測距画素２１の行方向での長さを１としたときに、測距画素２１の重心（図３に丸印で示す）との第１の開口部３１ａの重心（図３に三角印で示す）までの距離Ｄ１は、０．３３＜Ｄ１＜０．４５、の関係を満たすことが望ましい。同様に、測距画素２２の行方向での長さを１としたときに、測距画素２２の重心（図３に丸印で示す）との第２の開口部３２ａの重心（図３に三角印で示す）までの距離Ｄ２も、０．３３＜Ｄ２＜０．４５、の関係を満たすことが望ましい。これにより、射出瞳における第１の領域１５と第２の領域１６の基線長を長く取って、測距精度を高めることができる。なお、測距画素２１の重心と第１の開口部３１ａの重心とを結ぶ線は、概ね、行方向と平行となるため、ここでは、これらの重心の関係を行方向で規定している。

また、測距画素２１の行方向での長さを１としたときに、行方向における第１の開口部３１ａの幅Ｗ１は、０．１０＜Ｗ１＜０．３４、の関係を満たすことが望ましい。同様に、測距画素２２の行方向での長さを１としたときに、行方向における第２の開口部３２ａの幅Ｗ２は、０．１０＜Ｗ２＜０．３４、の関係を満たすことが望ましい。これにより、射出瞳における基線長を長く取ることができ、測距画素２１は射出瞳の第１の領域１５からの光を効率的に受光し、測距画素２２は射出瞳の第２の領域１６からの光を効率的に受光することができるため、測距精度を高めることができる。

図３右下の撮像画素２３では、撮像画素２３の重心（図３に丸印で示す）と第３の開口部３３ａの重心（図３に三角印で示す）とが行方向でずれた状態を誇張して示している。撮像画素２３の重心と第３の開口部３３ａの重心との間の距離Ｄ３は、撮像画素２３行方向での長さを１としたときに、０≦Ｄ３＜０．０５０、の関係を満たすことが望ましい。なお、撮像画素２３の重心と第３の開口部３３ａの重心とがずれる方向は行方向に限らず、それぞれの撮像画素２３において、撮像画素２３の重心と第３の開口部３３ａの重心とを結ぶ方向で、０≦Ｄ３＜０．０５０、の関係が満たされていればよい。これにより、撮像画素２３は射出瞳の第３の領域１７からの光を効率的に受光することができるため、鮮明な撮影画像を得ることができる。

撮像画素２３における第３の開口部３３ａの行方向における幅Ｗ３は、撮像画素２３の行方向での長さを１としたときに、０．０５０＜Ｗ３＜０．３４、の関係を満たすことが望ましい。これにより、撮像画素２３は、対応する射出瞳からの光を効率的に受光することができるため、鮮明な撮影画像を得ることができる。測距画素２１の第１の開口部３１ａの列方向における幅Ｌ１と、撮像画素２３の第３の開口部３３ａの列方向における幅Ｌ３とは、Ｌ３＜Ｌ１、の関係を満たしていることが望ましい。同様に、測距画素２２の第２の開口部３２ａの列方向における幅Ｌ２と、撮像画素２３の第３の開口部３３ａの列方向における幅Ｌ３とは、Ｌ３＜Ｌ２、の関係を満たしていることが望ましい。そして、幅Ｌ１、幅Ｌ２及び幅Ｌ３は、１．１×Ｌ３＜Ｌ１、および、１．１×Ｌ３＜Ｌ２、の関係を満たすことがより望ましい。これにより、測距画素２１，２２及び撮像画素２３はそれぞれ、射出瞳の対応する領域からの光を効率的に受光することができ、測距精度を高めることができ、また、鮮明な撮影画像を得ることができる。

図４（ａ）は、測距画素の構造の変形例を示す正面図である。図４（ｂ）は、図４（ａ）中の矢視Ｃ−Ｃの断面図である。測距画素群を構成する複数の測距画素行（図４には２行のみを示す）は、測距画素２５，２６が市松模様状に配置された構成となっている。測距画素２５，２６はそれぞれ、測距画素２１，２２に代わるものであり、測距画素２１，２２の要素と同じ要素については、同じ符号を付している。

測距画素２５，２６には、測距画素２５，２６にまたがる開口部３５ａを有する遮光膜３５が設けられている。開口部３５ａは、測距画素２１の第１の開口部３１ａと測距画素２２の第２の開口部３２ａとがつながった開口部に相当する。撮像素子１０の製造時の遮光膜形成プロセスにおいて、第１の開口部３１ａと第２の開口部３２ａに代えて、１つの大きな開口部３５ａを形成する場合、遮光膜形成プロセスを容易に行うことが可能になる。その際、形状精度を高めることも可能になるため、測距画素間の特性のばらつきを小さく抑えることができ、これにより、高い測距精度を得ることができる。なお、測距画素２５と測距画素２６の間に、画素間のクロストークを抑制する遮光部材を設けてもよい。

図２及び図４では、測距画素２１，２２，２５，２６として、できる限り多くの光量を受光することができるように、カラーフィルタが設けられていない構造のものを例示した。しかし、測距画素の構成は、これに限定されず、カラーフィルタが配置された構造としてもよく、その場合には、感度を落とさないようにするために補色系カラーフィルタを用いることが望ましい。撮像素子１０では、測距画素２１，２２，２５，２６及び撮像画素２３におけるフォトダイオードＰＤを同じ形状としているため製造が容易である。撮像素子１０は、表面照射型であってもよいし、裏面照射型であってもよい。裏面照射型の場合には、測距画素２１と測距画素２２との間のクロストークを低減するために、測距画素２１と測距画素２２との境界に遮光部材を設けてもよい。また、測距画素２１，２２と撮像画素２３との境界に遮光部材を設けてもよい。これにより、各画素は、対応する射出瞳からの光を効率的に受光して、測距精度を高め、また、明瞭な撮影画像を取得することが可能になる。これらの遮光部材は、同じ理由で、測距画素２５，２６を用いた構成にも適用される。

次に、測距画素群における測距画素の他の配置パターン、撮像画素群における撮像画素の配置パターン、測距画素群と撮像画素群の他の配置パターンについて説明する。以下の説明では、測距画素として、図４を参照して説明した測距画素２５，２６を例示することとする。但し、測距画素２５，２６に代えて、測距画素２１，２２が配置されていても構わない。

図５（ａ）は、撮像画素群と測距画素群の第２の配置パターンを示す図である。なお、図５（ａ）において、測距画素２５が配置されている位置を「Ａ」で示し、測距画素２６が配置されている位置を「Ｂ」で示し、撮像画素２３が配置されている位置を「撮像」で示している。第２の配置パターンでも、１つの測距画素群において、測距画素２５，２６は市松模様状に配置されている。そして、列方向で撮像画素群を挟む２つの測距画素群では、同じ列での測距画素２５，２６の列方向での並びが逆転している。

測距画素２５，２６が市松模様状に配置された１つの測距画素群から測距情報を求めた場合に、測距誤差がゼロにならず、残存誤差が残ることがある。その場合でも、第２の配置パターンとすることにより、２つの測距画素群での残存誤差が視差方向で逆方向に出るため、平均化によって残存誤差を相殺させて低減させることができ、これにより測距精度を高めることができる。

なお、測距画素群を構成する測距画素行の数（行数）と撮像画素群を構成する撮像画素行の数（行数）とを同数とすることにより、撮影画像を生成する際の測距画素群の画素補間を容易に行うことができる。但し、撮像画素群を構成する撮像画素行の数は、複数に限定されるものではなく、単数（つまり、１行）であってもよいし、測距画素群を構成する測距画素行の数よりも多い複数であってもよい。

図５（ｂ）は、撮像画素群と測距画素群の第３の配置パターンを示す図である。なお、測距画素２５，２６及び撮像画素２３の表示方法は、図５（ａ）の場合と同じである。第３の配置パターンでも、１つの測距画素群において、測距画素２５，２６は市松模様状に配置されているが、第３の配置パターンでは、１つの測距画素群と１つの撮像画素群とを含む一群が、行方向に半画素分ずつずれながら周期的に列方向に並べられている。このような構成とすることにより、測距画素２５，２６による測距における視差方向の分解能を高めて、測距精度を高めることが可能となる。行方向でのずれ量は、半画素分に限定されるものではなく、１／３や１／４等のより小さい値にすることができ、これにより更に測距精度を高めることが可能となる。なお、不図示であるが、撮像画素群を行方向にずらすことなく、測距画素群を列方向において交互に行方向にずらした構成としてもよく、第３の配置パターンと同じ効果を得ることができる。

図５（ｃ）は、撮像画素群と測距画素群の第４の配置パターンを示す図であり、列方向では１周期分を示している。なお、「１周期分」の定義は、図２（ａ）について説明した定義に準ずる。また、測距画素２５，２６及び撮像画素２３の表示方法は、図５（ａ）の場合と同じである。第４の配置パターンでは、１つの測距画素群は３本の測距画素行を有しており、測距画素群において測距画素２５，２６は市松模様状に配置されている。第４の配置パターンでは、列方向の上側の測距画素行と中間の測距画素行とを、図５（ａ）に示した第２の配置パターンにおける下側の測距画素群と同様に用いる。そして、列方向の下側の測距画素行と中間の測距画素行とを、図５（ａ）に示した第２の配置パターンにおける上側の測距画素群と同様に用いる。このように、測距画素群を構成する１本の測距画素行を共用する構成とすることで、測距誤差を低減させて、測距精度を高めることが可能となる。

図６（ａ），（ｂ），（ｃ）はそれぞれ、撮像画素群と測距画素群の第５の配置パターン、第６の配置パターン及び第７の配置パターンを示す図であり、列方向では１周期分を示している。なお、測距画素２５，２６及び撮像画素２３の表示方法は、図５（ａ）の場合と同じである。第５の配置パターン、第６の配置パターン及び第７の配置パターンのそれぞれにおいて、１つの測距画素群は４本の測距画素行を有している。１本の測距画素行は測距画素２５，２６が行方向に交互に配置された構成を有するが、第５の配置パターン、第６の配置パターン及び第７の配置パターンでは、測距画素２５，２６の列方向での配列に差がある。

第５の配置パターンでは、測距画素群全体で、測距画素２５，２６は市松模様状に配置されており、これにより、第１の配置パターンが奏する効果と同等の効果を得ることができる。また、第５の配置パターンでは、第４の配置パターンと同様に、視差像を３セット取得することができるため、更なる測距精度の高精度化が可能となる。第６の配置パターンの測距画素群は、第２の配置パターン（図５（ａ））に示した２つの測距画素群を列方向で隣接させたものと同等である。よって、第６の配置パターンの測距画素群では、測距画素２５，２６は、列方向上側の２本の測距画素行で市松模様状に配置され、列方向下側の２本の測距画素行で市松模様状に配置されている。第７の配置パターンでは、列方向中央の２本の測距画素行において測距画素２５，２６は市松模様状に配置されており、上下の２行ずつの測距画素行で見たときには、測距画素２５が列方向で並び、且つ、測距画素２６が列方向で並んでいる。第６の配置パターン及び第７の配置パターンのように、測距画素群は、測距画素２５，２６が市松模様状に配置された領域を少なくとも一部に有する構成となっていれば、第１の配置パターンが奏する効果と同等の効果を得ることができる。また、第６の配置パターンでは、第２の配置パターンと同様に、視差逆のセットを取得することができるため、更なる測距精度の高精度化が可能である。第７の配置パターンでは、列方向に隣接する測距画素２５同士、測距画素２６同士を加算してＳ／Ｎ比を上げた視差像信号を取得でき、これにより測距精度の高精度化が可能となる。

なお、第５の配置パターン、第６の配置パターン及び第７の配置パターンでも、撮影画像を生成する際の測距画素群の画素補間が容易とするために、測距画素群を構成する測距画素行の数に撮像画素群を構成する撮像画素行の数を合わせている。但し、撮像画素群を構成する撮像画素行の数は、測距画素群を構成する測距画素行の数に限定されるものではない。

図７は、図６（ｂ）に示した測距画素群と撮像画素群の第６の配置パターンでの撮像画素群におけるカラーフィルタの配置パターンを示す図である。撮像画素群において、「Ｇ」で示される撮像画素２３は、グリーンのカラーフィルタを有する画素を示している。また、「Ｒ」で示される撮像画素２３はレッドのカラーフィルタを有する画素を、「ＢＬ」で示される撮像画素２３はブルーのカラーフィルタを有する画素をそれぞれ示している。測距画素２５，２６の表示方法は、図５（ａ）の場合と同じである。

撮像画素群では、行方向と列方向を各辺とする所定の領域に含まれる複数の撮像画素２３に同色のカラーフィルタを設けることができる。ここでは、（行方向：４個）×（列方向：４個）の１６個の撮像画素２３を一群として、各群にＲＧＢのカラーフィルタがベイヤ配列となるように設けられたものを示している。但し、一群を構成する画素数はこれに限定されるものではない。同色のカラーフィルタが設けられた一群（＝１６個）の撮像画素２３から電気信号を加算して読み出し、読み出した加算信号から撮影画像を生成し、生成した撮影画像に対して被写体認識処理等の所定の画像処理を行う。これにより、画像処理の演算負荷を軽減させながら、撮像画素群での感度を向上させて、撮影画像の画質を向上させることができる。

また、撮像素子１０による撮像では、撮影画像を生成する際に、撮像画素２３からの出力信号を用いて、測距画素２５，２６が配置されている位置に対する画素補間処理を行う。例えば、図７に太線枠で示される（行方向：４個）×（列方向：４個）の１６個の測距画素２５，２６に対して、列方向で隣接する撮像画素群にあって行方向で近接する６群の撮像画素２３の出力信号を用いて、画素補間処理を行う。これにより、画素補間処理を容易に行うことができ、その際の演算負荷を軽減させることができる。図７に示した撮像画素群に対するカラーフィルタの配置パターンは、図２に示した第１の配置パターン、図５及び図６に示した第２乃至第５及び第７の配置パターンについても、同様に適用することができる。

上記第１乃至第７の配置パターンは、撮像素子１０として測距画素群と撮像画素群とを備えるものである。ここで、測距画素群を構成する測距画素２１，２２又は測距画素２５，２６がそれぞれ取得する第１の画像と第２の画像もまた画像情報であることを利用して、撮像素子１０を測距画素で構成することにより、距離情報と画像情報を取得することも可能である。そこで、撮像素子１０として、測距画素で構成される例について説明する。

図８（ａ）は、測距画素２５，２６から構成される撮像素子１０の第１の例を示す図である。第１の例では、撮像素子１０の全面に測距画素２５，２６が市松模様状に配置されている。測距画素２５，２６はカラーフィルタを備えていないため、測距画素２５，２６により得られる第１の画像と第２の画像はそれぞれモノクロ画像となる。撮像素子１０を第１の例の構成のように測距画素２５，２６のみで構成することにより、高い測距精度を得ることができる。なお、撮影画像には、第１の画像と第２の画像のいずれか一方を用いてもよいし、第１の画像の画像データと第２の画像の画像データとの演算処理によって生成してもよい。また、第１の例では、全面に測距画素２５，２６が市松模様状に配置されているが、一部に測距画素２５，２６がそれぞれ列方向に並べて配置された領域を含むように配置されていても構わない。

図８（ｂ）は、測距画素２５，２６から構成される撮像素子１０の第２の例を示す図である。第２の例での測距画素２５，２６の配置パターンは、図８（ａ）に示した第１の例の測距画素２５，２６の配置パターンと同じである。第２の例では、（行方向：２個）×（列方向：２個）の４個の測距画素２５，２６を一群として、各群にＲ，Ｇ，ＢＬのカラーフィルタがベイヤ配列となるように設けられている。例えば、Ｇ（グリーン）のカラーフィルタを有する測距画素２５は、図４（ｂ）の断面図に示す測距画素２５に図２（ｃ）に示す撮像画素２３が有するカラーフィルタＣＦを設けた構造を有する。第２の例では、測距画素２５，２６により得られる第１の画像と第２の画像がカラー画像となり、よって、カラー化された画像情報を取得しつつ、測距情報を得ることができる。

次に、本発明の実施形態に係る撮像装置を移動体に搭載した場合のシステム構成について説明する。図９は、撮像装置１００を移動体の一例である自動車５０に搭載した場合のシステム構成の一例を示す図である。撮像装置１００は、例えば、自動車５０のフロントガラスの内側上部に取り付けられて前方を所定の画角５９で撮影する。そして、撮像装置１００は、前述したように撮影画像に対して被写体認識処理を行い、前方（進行方向）に現れる各種の物体を検出し、検出した物体に対する測距を行う。撮像装置１００の制御部１は、自動車５０が備える制御装置５５へ画像情報と距離情報を提供する。なお、移動体に搭載する場合、撮像装置１００は、図１に示したレンズ制御部３、表示部７、操作部８及び記憶部９を備えていない構成であっても構わない。

自動車５０は、制御装置５５、車両情報取得装置５１、警報装置５２及び制動装置５３を備える。車両情報取得装置５１は、車速（移動速度）、ヨーレート、舵角（移動方向）、エンジンの回転速度、ギア段等の自動車５０の状態を示す少なくとも１つを車両情報（移動体情報）として検知し、検知した車両情報を制御装置５５へ供給する。警報装置５２は、制御装置５５からの指令に従い、警報を鳴らす、カーナビゲーションシステム等の画面に警報情報を表示する、シートベルトやステアリングに振動を与える等により、ユーザに警告を行う。制動装置５３は、制御装置５５からの指令に従い、エンジンの回転速度制御やギアのシフト制御、ブレーキアシスト（ＡＢＳ、ＥＳＣ、自動ブレーキ等）、ハンドルアシスト（自動追従運転、車線逸脱防止等）等の各種の動作を行う。

制御装置５５は、車両情報取得装置５１から取得した車両情報と撮像装置１００から取得した所定の物体に対する距離情報に基づいて、警報装置５２と制動装置５３の動作を制御するコンピュータである。また、制御装置５５は、撮像装置１００の制御部１と通信を行い、制御部１に対してホストコンピュータとして機能する。つまり、制御装置５５は、制御部１に対して画像情報と距離情報の取得と、取得した画像情報と距離情報の制御装置５５への送信を指令する。

図１０は、自動車５０での動作制御の一例である衝突防止制御のフローチャートである。図１０のフローチャートに示す処理のうち、ステップＳ１１，Ｓ１３〜Ｓ１４の処理は、自動車５０の制御装置５５による制御の下で、撮像装置１００の制御部１によって実行される。ステップＳ１２，Ｓ１５，Ｓ１６の処理は、自動車５０の制御装置５５によって実行される。

ステップＳ１１では、制御部１の制御下で、撮像光学系２及び撮像素子１０が撮影を行い、画像処理部５が撮影画像及び視差画像を生成する。ステップＳ１２において、制御装置５５は、車両情報取得装置５１から車両情報を取得する。ステップＳ１３では、制御部１の制御下で、ステップＳ１１で取得した画像情報に基づき画像処理部５が撮影画像に対して被写体認識処理を行う。具体的には、ステップＳ１３では、撮影画像におけるエッジの量や方向、濃度値、色、輝度値等の特徴量を解析することにより、車両や自転車、歩行者、車線、ガードレール、ブレーキランプ等（以下「対象物」という）が検出される。なお、被写体認識処理は、複数のフレーム画像に対して行ってもよいし、複数のフレーム画像のうちの一部（少なくとも１つのフレーム画像）に対して行ってもよい。ステップＳ１４では、制御部１の制御下で、ステップＳ１１で取得した視差画像とステップＳ１３で検出した対象物とに基づいて測距演算部６が対象物の距離情報を演算する。

なお、ステップＳ１２の処理と、一連の処理であるステップＳ１１，Ｓ１３，１４の処理とは、上記の通りに行われてもよいし、並行して行われてもよい。また、ステップＳ１３とステップＳ１４の順番を入れ替えてもよい。その場合、まず、ステップＳ１４では、制御部１の制御下で、ステップＳ１１で取得した視差画像に基づいて測距演算部６が距離情報を各画素で演算して距離画像（デプスマップ）を生成する。そして、ステップＳ１３では、制御部１の制御下で、ステップＳ１１で取得した撮影画像とステップＳ１４で生成した距離画像とに基づいて画像処理部５が対象物を検出する。なお、フォトダイオードＰＤ２からの出力信号により生成された第２の画像とフォトダイオードＰＤ３からの出力信号により生成された第３の画像とから視差を求めて、デフォーカス量や対象物までの距離を求める方法は周知であるため、ここでの説明を省略する。例えば、米国特許出願公開第２０１５／００９７９９１号明細書に当該方法についての説明がある。

ステップＳ１５において制御装置５５は、ステップＳ１４で求められた距離情報に基づき、対象物までの距離が予め定められた設定距離内にあるか否か（設定距離内に対象物（＝障害物）が存在するか否か）を判定する。そして、制御装置５５は、設定距離内に対象物が存在する場合に、ステップＳ１２で取得した車両情報（特に移動速度及び移動方向）と対象物の位置及び対象物までの距離に基づき、設定距離内の対象物に対する衝突可能性の有無を判定する。なお、路面状況に関する情報の取得が可能な構成を有する自動車５０であれば、ステップＳ１５の処理では、路面情報（乾いた路面か濡れた路面か）に応じて設定距離を変える（濡れた路面であれば設定距離を長くする）ようにしてもよい。

制御装置５５は、衝突可能性がないと判定した場合（Ｓ１５でＮＯ）、処理をステップＳ１１へ戻し、衝突可能性があると判定した場合（Ｓ１５でＹＥＳ）、処理をステップＳ１６へ進める。ステップＳ１６では、制御装置５５の制御下で、警報装置５２と制動装置５３による衝突回避動作を行う。衝突回避動作としては、警報装置５２による運転手に対する警報発令や、制動装置５３によるブレーキング、低速ギアへの移行、エンジン出力の抑制等が挙げられるが、これらに限定されるものではない。制御装置５５は、ステップＳ１６の後、処理をステップＳ１１へ戻す。以上のフローにより、正確に対象物（障害物）を検知して、衝突回避或いは衝突時の被害軽減を図ることができる。

ここでは、撮像装置１００が取得した画像情報と距離情報に基づく衝突回避制御について説明した。しかし、これに限定されず、先行車への自動追従制御や車線内中央の走行維持制御、車線逸脱防止制御は、ステップＳ１５での判定基準が異なるだけであり、図１０のフローチャートに従う同様の手法によって実現することができる。

上記の自動車５０のシステム構成では、撮像装置１００は自動車５０の車両前方のみに装着されているが、撮像装置１００を車両後方の撮影が可能な位置に取り付けて、画像情報及び距離情報を自動車５０の後退時の運転支援に用いることもできる。また、撮像装置１００が取得した画像情報と距離情報は、運転支援に限らず、自律運転にも適用が可能である。更に、撮像装置１００は、自動車（乗用車、トラック、バス、特殊車両、自動二輪車等を含む）限らず、画像情報と距離情報に基づく動作制御が可能な各種の移動体、例えば、船舶や鉄道車両、航空機或いは産業用ロボット等への適用が可能である。加えて、撮像装置１００は、移動体に搭載される用途に限られることなく定点カメラとしても用いることができ、例えば、交差点監視システム、高度道路交通システム（ＩＴＳ）等の広く物体認識を利用するシステムに適用することができる。

なお、自動車５０のシステム構成において、撮像装置１００の撮像光学系２及び撮像素子１０以外の各部の機能を自動車５０の制御装置５５に持たせた構成としても構わない。つまり、撮像装置１００の光学系及び撮像素子と制御系とを分離した構成として、制御系の機能を制御装置５５の機能に統合したシステム構成としてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。例えば、上記実施形態では、測距画素と撮像画素のそれぞれに遮光膜を設けることより撮像光学系２の瞳領域を分ける構成としたが、撮像光学系２で撮像素子１０に入射する光束を分離する構成としてもよく、その具体例について、図１１を参照して説明する。

図１１（ａ）は、撮像光学系２に配置される開口絞り１２Ａの概略構成を示す正面図である。開口絞り１２Ａには、第１の領域１５を規定する第１の開口部１５０と、第１の領域１５を規定する第１の開口部１５０、第２の領域１６を規定する第２の開口部１６０、第３の領域１７を規定する第３の開口部１７０が形成されている。

図１１（ｂ）は、測距画素４１，４２の概略構造を示す断面図であり、図２（ｂ）と同様に示されている。図１１（ｃ）は、撮像画素４３の概略構造を示す断面図であり、図２（ｃ）と同様に示されている。測距画素４１では、第１のマイクロレンズＭＬ１の光軸ＯＡ１から行方向に偏心した位置（ここでは右側）に、第１の光電変換部であるフォトダイオードＰＤ１が設けられている。測距画素４２では、第２のマイクロレンズＭＬ２の光軸ＯＡ２から測距画素４１においてフォトダイオードＰＤ１が設けられた方向の逆方向に偏心した位置（ここでは行方向の左側）に、第２の光電変換部であるフォトダイオードＰＤ２が設けられている。撮像画素４３では、第３のマイクロレンズＭＬ３の光軸ＯＡ３を含む位置に、第３の光電変換部であるフォトダイオードＰＤ３が設けられている。開口絞り１２Ａの第１の開口部１５０を通過した光束は、測距画素４１のフォトダイオードＰＤ１に主に受光され、第２の開口部１６０を透過した光束は、測距画素４２のフォトダイオードＰＤ２に主に受光される。第３の開口部１７０を透過した光束は、撮像画素４３のフォトダイオードＰＤ３に主に受光される。測距画素４１，４２からの出力信号により視差画像（第１の画像、第２の画像）が生成され、撮像画素４３からの出力信号により撮影画像（第３の画像）が生成される。フォトダイオードＰＤ１，ＰＤ２の形状、大きさ、位置は、第１の開口部３１ａと第２の開口部３２ａの形状、大きさ、位置に準じて設計することができる。フォトダイオードＰＤ３の形状、大きさ、位置は、第３の開口部３３ａの形状、大きさ、位置に準じて設計することができる。

図１１（ｄ）は、測距画素４１，４２（フォトダイオードＰＤ１，ＰＤ２）の感度と光束の入射角度との関係を説明する図である。測距画素４１，４２による測距精度を高めるためにはフォトダイオードＰＤ１，ＰＤ２に入射する光束に対応する撮像光学系２での瞳における基線長を長く取ることが望まれる。しかし、瞳における基線長を長く取ると、フォトダイオードＰＤ１，ＰＤ２に対する入射角度が大きくなって入射光量が低下することにより画素信号のＳ／Ｎ比は低下する。そこで、絞り１２における第１の領域１５及び第２の領域１６（第１の開口部１５０及び第２の開口部１６０）は、所望する精度での測距を可能とする視差画像を取得することができる位置及び形状に設定されている。その結果、フォトダイオードＰＤ１は光束の入射角が−θ度のときに、フォトダイオードＰＤ２は光束の入射角が＋θ度のときにそれぞれ感度が最も大きくなる特性を有する。図１１（ｅ）は、撮像画素４３（フォトダイオードＰＤ３）の感度と光束の入射角度との関係を説明する図である。撮像画素４３は、入射角が零度のときに感度が最も大きくなる特性を有する。撮像光学系２と撮像素子１０とをこのような構成とすることによっても、図２を参照して説明した構成と同様に、測距情報と画像情報とを取得することができる。

なお、フォトダイオードＰＤ１，ＰＤ２に対する入射角度の増加による画素信号のＳ／Ｎ比の低下が許容範囲内であるならば、開口絞り１２Ａのような特殊な開口絞りを撮像光学系２の瞳面に配置しなくてもよい。また、図２を参照して説明した実施形態では、開口絞り１２Ａのような特殊な開口絞りを撮像光学系２の瞳面に配置していなかったが、図２の実施形態において開口絞り１２Ａのような特殊な開口絞りを撮像光学系２の瞳面に配置してもよい。

また、上記実施形態では、移動体に搭載される撮像装置等について説明してきたが、撮像画像（静止画や動画）の取得を主な用途とする一般的な撮像装置にも本発明を適用することができ、その具体例について図１２を参照して説明する。図１２（ａ）は、撮像素子における測距画素群と撮像画素群の第８の配置パターンを示す正面図であり、行方向で一部（６画素分）を、また、列方向でも一部（４画素分）を示している。測距画素群は、測距画素６１，６２によって構成されており、撮像画素群は撮像画素６３により構成されている。一般的な撮像装置では、画質が重要視される。そのため、撮像画素群でのカラーフィルタの配置パターンを考慮しない場合の列方向での１周期分（１つの測距画素群と１つの撮像画素群）は、例えば、測距画素群を２行、撮像画素群を１００行に設定することができる。但し、これに限定されるものではなく、所望の画質の撮影画像と測距精度が得られるように、測距画素行の数と撮像画素行の数を設定すればよい。

図１２（ｂ）は、図１２（ａ）中の矢視Ｃ−Ｃでの断面図であり、行方向における測距画素６１，６２の１周期分の断面構造を示している。測距画素６１，６２において、測距画素２１，２２（図２参照）と共通する構成については、同じ符号を付して説明を省略する。測距画素２１が第１の開口部３１ａを有する第１の遮光膜３１を備えるのに対して、測距画素６１は、第１の開口部７１ａを有する第１の遮光膜７１を備える点で、測距画素２１と異なる。同様に、測距画素２２が第２の開口部３２ａを有する第２の遮光膜３２を備えるのに対して、測距画素６２は、第２の開口部７２ａを有する第２の遮光膜７２を備える点で、測距画素２２と異なる。測距画素６１，６２間には、測距画素６１，６２間のクロストークを抑制するために遮光膜７３が形成されている。測距画素６１の第１の開口部７１ａと測距画素６２の第２の開口部７２ａはそれぞれ、測距画素２１の第１の開口部３１ａと測距画素２２の第２の開口部３２ａよりも、行方向に広い幅を有する。

図１２（ｃ）は、図１２（ａ）中の矢視Ｄ−Ｄでの断面図であり、１個の撮像画素６３の断面構造を示している。撮像画素６３において、撮像画素２３（図２参照）と共通する構成については、同じ符号を付して説明を省略する。撮像画素２３は第３の遮光膜３３を有するが、撮像画素６３は遮光膜を有さない点で、撮像画素６３は撮像画素２３とは異なる。

図１２（ｄ）は、撮像光学系２の射出瞳上の各領域を説明する正面図である。絞り１２の開口１２０上（撮像光学系２の射出瞳上）には、第１の領域１５ａ、第２の領域１６ａ及び第３の領域１７ａがある。第１の領域１５ａを透過した光束は測距画素６１の第１の開口部７１ａに主に集光し、第２の領域１６ａを透過した光束は測距画素６２の第２の開口部７２ａに主に集光する。第３の領域１７ａは、第１の領域１５ａと第２の領域１６ａを含む開口１２０にほぼ対応しており、第３の領域１７ａを透過した光束は、撮像画素６３のＰＤに集光する。撮影画像を生成する際には、撮像画素群からの出力信号を用いて測距画素群の画素補間が行われる。

第８の配置パターンを有する撮像素子による画像情報と測距情報の取得は、上述した第１の配置パターン等を有する撮像素子１０と同様に行うことができる。第８の配置パターンを有する撮像素子を備える撮像装置では、被写体の距離情報として一対の像信号の位相差やフォーカスレンズの駆動量を求め、得られた被写体の距離情報に基づいてフォーカスレンズを駆動する構成とすることができる。このようなオートフォーカスの方法は、例えば米国特許出願公開第２０１３／０２４２１７２号明細書に記載されており、ここでの詳細な説明は省略する。

１ 制御部
２ 撮像光学系
５ 画像処理部
６ 測距演算部
１０ 撮像素子
２１，２２，２５，２６，４１，４２ 測距画素
２３，４３ 撮像画素
５０ 自動車
５１ 車両情報取得装置
５２ 警報装置
５５ 制御装置
１００ 撮像装置

Claims (17)

1. 互いに直交する第１の方向と第２の方向に配置された複数の画素を有する撮像素子であって、
   前記複数の画素は、
   第１のマイクロレンズと、前記第１のマイクロレンズの光軸から前記第１の方向に偏心した位置に第１の開口部が設けられた第１の遮光膜と、を有する複数の第１の画素と、
   第２のマイクロレンズと、前記第２のマイクロレンズの光軸から前記第１の画素で前記第１の開口部が設けられた方向の逆方向に偏心した位置に第２の開口部が設けられた第２の遮光膜と、を有する複数の第２の画素と、
   第３のマイクロレンズと、前記第３のマイクロレンズの光軸を含むように第３の開口部が設けられた第３の遮光膜と、を有する第３の画素と、を備え、
   前記撮像素子は、
   複数の前記第１の画素と複数の前記第２の画素とが前記第１の方向に交互に並んだ第１の行が前記第２の方向に複数並んだ第１の行群を有し、前記第１の行群の少なくとも一部において前記第１の画素と前記第２の画素とが前記第２の方向に隣接して配置され、
   複数の前記第３の画素が前記第１の方向に並んだ第２の行が前記第２の方向に複数並んだ第２の行群を有し、前記第１の行群と前記第２の行群とが前記第２の方向に交互に並んでいることを特徴とする撮像素子。
2. 少なくとも一部の前記第１の画素と前記第２の画素とが市松模様状となるように前記第１の方向と前記第２の方向に配置されていることを特徴とする請求項１に記載の撮像素子。
3. 前記第１の行において、前記第１の画素に設けられた前記第１の開口部と、前記第１の画素に隣接する一方の前記第２の画素の前記第２の開口部とがつながっていることを特徴とする請求項１又は２に記載の撮像素子。
4. 前記第１の画素および前記第２の画素は測距に用いられる画素であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. 前記第１の行群と前記第２の行群とを含む一群は、前記第１の方向にずれながら周期的に前記第２の方向に並んでいることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 前記第１の行群を構成する前記第１の行の数と前記第２の行群を構成する前記第２の行の数とが同数であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 前記第３の画素は、撮影画像の形成に用いられる画素であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像素子。
8. 互いに直交する第１の方向と第２の方向に配置された複数の画素を有する撮像素子であって、
   前記複数の画素は、
   第１のマイクロレンズと、前記第１のマイクロレンズの光軸から前記第１の方向に偏心した位置に設けられた第１の光電変換部と、を有する複数の第１の画素と、
   第２のマイクロレンズと、前記第２のマイクロレンズの光軸から前記第１の画素で前記第１の光電変換部が設けられた方向の逆方向に偏心した位置に設けられた第２の光電変換部と、を有する複数の第２の画素と、
   前記複数の画素は、第３のマイクロレンズと、前記第３のマイクロレンズの光軸を含む位置に設けられた第３の光電変換部と、を有する第３の画素と、を備え、
   前記撮像素子は、
   複数の前記第１の画素と複数の前記第２の画素とが前記第１の方向に交互に並んだ第１の行が前記第２の方向に複数並んだ第１の行群を有し、前記第１の行群の少なくとも一部において前記第１の画素と前記第２の画素とが前記第２の方向において隣接して配置され、複数の前記第３の画素が前記第１の方向に並んだ第２の行が前記第２の方向に複数並んだ第２の行群を有し、前記第１の行群と前記第２の行群とが前記第２の方向に交互に並んでいることを特徴とする撮像素子。
9. 少なくとも一部の前記第１の画素と前記第２の画素とが、市松模様状となるように前記第１の方向と前記第２の方向に配置されていることを特徴とする請求項８に記載の撮像素子。
10. 前記第１の画素および前記第２の画素は測距に用いられる画素であることを特徴とする請求項８又は９に記載の撮像素子。
11. 前記第３の画素は、撮影画像の形成に用いられる画素であることを特徴とする請求項８乃至１０のいずれか１項に記載の撮像素子。
12. 互いに直交する第１の方向と第２の方向に配置された複数の画素を有する撮像素子であって、
    前記複数の画素は、
    第１のマイクロレンズと、前記第１のマイクロレンズの光軸から前記第１の方向に偏心した位置に第１の開口部が設けられた第１の遮光膜と、を有する複数の第１の画素と、
    第２のマイクロレンズと、前記第２のマイクロレンズの光軸から前記第１の画素で前記第１の開口部が設けられた方向の逆方向に偏心した位置に第２の開口部が設けられた第２の遮光膜と、を有する複数の第２の画素と、を備え、
    前記撮像素子は、
    複数の前記第１の画素と複数の前記第２の画素とが前記第１の方向に交互に並んだ第１の行が前記第２の方向に複数並んだ第１の行群を有し、前記第１の行群の少なくとも一部において前記第１の画素と前記第２の画素とが前記第２の方向に隣接して配置され、前記第１の行において、前記第１の画素に設けられた前記第１の開口部と、前記第１の画素に隣接する一方の前記第２の画素の前記第２の開口部とがつながっていることを特徴とする撮像素子。
13. 撮像光学系と、
    前記撮像光学系を通過した光を受光する請求項１乃至１２のいずれか１項に記載の撮像素子と、を備えることを特徴とする撮像装置。
14. 撮像光学系と、
    前記撮像光学系を通過した光を受光する請求項１乃至１２のいずれか１項に記載の撮像素子と、
    前記撮像素子からの電気信号に基づいて距離情報を取得する手段と、を備えることを特徴とする測距装置。
15. 移動体であって、
    請求項１４に記載の測距装置と、
    前記測距装置が取得した前記距離情報に基づいて前記移動体を制御する制御手段と、を備えることを特徴とする移動体。
16. 前記移動体の情報を取得する手段を有し、
    前記制御手段は、前記移動体の情報と前記距離情報とに基づいて、前記移動体の移動方向または移動速度を制御することを特徴とする請求項１５に記載の移動体。
17. 前記制御手段は、前記移動体が障害物に衝突する可能性があるか否かを判定し、前記移動体が障害物に衝突する可能性があると判定した場合に前記移動体の移動方向と移動速度の少なくともいずれかを制御することを特徴とする請求項１５又は１６に記載の移動体。