JP6890998B2 - 撮像素子、撮像装置及び移動体 - Google Patents

Description

本発明は、撮像素子、撮像装置及び移動体に関する。

ＣＭＯＳセンサやＣＣＤセンサ等の撮像素子を用いた撮像装置を自動車等の移動体に搭載して進行方向の情報を取得する目的に用いる場合、撮像機能に加えて、移動体の進行方向に現れる各種の物体に対する測距機能が求められる。ここで、画像情報と同時に距離情報を取得する方法として、撮像面位相差方式と呼ばれる方法があり、撮像面位相差方式を用いて画質を低下させることなく、焦点検出精度を高めるための技術が提案されている（特許文献１，２参照）。

撮像面位相差方式では、レンズの瞳上の異なる領域（瞳領域）を通過した光束による視差画像の視差（像ズレ量）から、三角測距の原理でデフォーカス量や被写体までの距離を求める。撮像面位相差方式による測距精度は、撮像光学系の結像倍率が一定であれば、基線長と視差の検出分解能によって決まる。そして、視差の検出分解能は、撮像素子の画素サイズで決まり、画素サイズが小さくなるにしたがって視差の検出分解能は上がる。よって、画素サイズを小さくすることで、高い測距精度が得られ、正確な距離情報を得ることができる。

特許第５５０４８７４号公報 特許第５０６７１４８号公報

しかしながら、撮像素子の画素サイズを小さくした場合、撮像素子のサイズが一定であれば画素数は多くなる。その場合、撮像素子からの出力信号に基づいて撮影画像を生成するための演算負荷が増え、また、撮影画像から特定の物体を認識するための画像認識処理の演算負荷が増えてしまうという問題がある。この問題に対処するために、例えば、演算量の多い画像認識処理で単位時間当たりに処理するフレーム数を少なくする（フレームレートを下げる）と、物体の検出精度が低下するおそれがある。これに対して、フレームレートを維持しようとすると、演算装置が大型化し、消費電力が増えてしまうという問題があり、移動体のように搭載可能な電源に制限がある用途には不向きである。更に、撮像面位相差方式には、撮像素子の画素サイズを小さくするにしたがって画素信号のＳ／Ｎ比が低下し、測距精度が低下してしまうという問題がある。

本発明は、被写体に対する高精度な距離情報の取得を可能にすると共に、所望される精度の画像情報を取得する速度を向上させることができる撮像素子を提供することを目的とする。

本発明に係る撮像素子は、撮影画像用の信号を出力する撮像画素と、測距用の信号を出力する測距画素とを有する撮像素子であって、複数の前記撮像画素が第１の方向に並べられて構成される撮像用画素行と複数の前記測距画素が前記第１の方向に並べられて構成される測距用画素行とが前記第１の方向と直交する第２の方向に配置されており、前記測距用画素行の少なくとも１つは他のある１つの測距用画素行に対して前記第２の方向において前記第１の方向にずらして配置されていることを特徴とする。なお、本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明によれば、被写体に対する高精度な距離情報を取得することができ、また、所望される精度の画像情報を取得する速度を向上させることができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図と、撮像装置が備える撮像光学系の射出瞳上の各領域を示す正面図と、撮像光学系に設けられた開口絞りの概略構成を示す正面図である。 図１の撮像装置が備える撮像素子の概略構成を説明する正面図である。 図２の撮像用画素行と測距用画素行の構成例を示す図である。 図２の撮像素子における撮像用画素行と測距用画素行の第１の構成例を示す正面図、撮像画素及び測距画素の概略断面図及び感度特性を示す図である。 図２の撮像素子における撮像用画素行と測距用画素行の第２の構成例及び第３の構成例を示す正面図である。 図２の撮像素子における撮像用画素行と測距用画素行の第４の構成例を示す正面図である。 図４の第１の構成例でのより広範囲の画素配置と画素補間の例を説明する図である。 図２の撮像素子における撮像用画素行での画素加算読み出しと測距用画素行に対する画素補間を模式的に説明する図である。 図８（ｂ）の撮像用画素行と測距用画素行の配置形態の第１の変形例及び第２の変形例を示す図である。 図７の撮像用画素行と測距用画素行の配置形態の変形例を示す図である。 図１の撮像装置における電子ズーム機能を説明する図である。 図１の撮像装置を自動車に搭載した場合のシステム構成の一例を示す図である。 図１２の自動車での衝突防止制御のフローチャートである。 本発明に係る撮像素子に用いられる、遮光膜を設けた撮像画素と測距画素の概略構成を示す断面図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態では、自動車やドローン、ロボット等の移動体の移動を支援するための画像情報及び距離情報の取得に好適な構成を有する撮像装置について説明する。図１（ａ）は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、制御部１、撮像光学系２、レンズ制御部３、撮像素子制御部４、画像処理部５、測距演算部６、表示部７、操作部８、記憶部９、撮像素子１０及び通信Ｉ／Ｆ１１を備える。撮像光学系２は、複数のレンズと、開口絞り１２を有する。なお、撮像光学系２は、更に、ミラーを有してもよく、反射系又は反射屈折光学系の構成となっていてもよい。図１（ｂ）は、撮像光学系２の射出瞳上の各領域を示す正面図である。図１（ｃ）は、撮像光学系２に設けられる開口絞り１２の一例である開口絞り１２Ａの概略構成を示す正面図（不図示の被写体側から撮像素子１０側に向かって見たときの図）である。なお、説明の便宜上、図１に示すように、撮像光学系２の光軸方向をＸ方向とし、Ｘ方向と直交すると共に互いに直交するＹ方向（第１の方向）とＺ方向（第２の方向）を規定する。

撮像光学系２は、被写体像を撮像素子１０に結像させる。レンズ制御部３は、撮像光学系２におけるレンズ位置を調整することにより焦点位置を制御する。開口絞り１２の開口１２０上（撮像光学系２の射出瞳上）には、第１の領域１５と第２の領域１６ａ，１６ｂがある。

撮像素子１０の構成の詳細については後述するが、第１の領域１５を透過した光束は、撮像素子１０が有する撮像画素２１のフォトダイオードＰＤ１に集光する。第２の領域１６ａを透過した光束は、撮像素子１０が有する測距画素３１のフォトダイオードＰＤ２に集光し、第２の領域１６ｂを透過した光束は、撮像素子１０が有する測距画素３１のフォトダイオードＰＤ３に集光する。撮像画素２１からの出力信号により撮影画像（第１の画像）が生成され、測距画素３１のフォトダイオードＰＤ２，ＰＤ３からの出力信号により視差画像（第２の画像，第３の画像）が生成される。よって、Ｙ方向は、視差画像である第２の画像と第３の画像とに視差が生じる視差方向となる。なお、第２の領域１６ａ，１６ｂとして、図１（ｂ）には楕円形状のものを示しているが、これに限定されず、例えば、円形状又は多角形状のものであってもよい。また、第２の領域１６ａ，１６ｂは、図１（ｂ）に示したように、Ｚ方向幅がＹ方向幅よりも長い形状を有する。これにより、測距画素３１では、画素信号のＳ／Ｎ比を高めることができる。本実施形態では、開口絞り１２の開口１２０を図１（ｂ）に示したように円形としたが、開口絞り１２の代わりに、図１（ｃ）に示した開口絞り１２Ａを使用してもよい。開口絞り１２Ａには、第１の領域１５を規定する第１の開口部１５０と、第２の領域１６ａ，１６ｂを規定する第２の開口部１６０ａ，１６０ｂとが形成されている。

撮像素子１０は、画像情報の取得と共に、撮像面位相差方式による距離情報の取得が可能な構成となっている。撮像素子１０は、具体的にはＣＭＯＳセンサ及びその周辺回路から構成されており、撮像光学系２により結像された被写体光学像を光電変換することにより、撮影画像を生成するための電気信号と、視差画像を生成するための電気信号を生成する。撮像素子制御部４は、制御部１からの指示に従って撮像素子１０を構成する画素に対する電荷の蓄積、画素からの信号の読み出し等を制御し、取得した撮像信号を制御部１へ供給する。画像処理部５は、撮像素子１０の撮像画素からの出力信号である撮像信号を取得し、γ変換やカラー補間等の画像処理を行って撮影画像を生成し、生成した撮影画像に対して被写体認識処理（特徴解析）を行う。また、画像処理部５は、撮像素子１０の測距画素からの出力信号である視差信号を取得し、視差画像を生成する。なお、被写体認識処理には、周知の方法を用いることができ、ここでの説明は省略する。

測距演算部６は、画像処理部５が生成した視差画像に基づき、画像処理部５が被写体認識処理により検出した被写体に対する測距演算を行い、距離情報を算出する。なお、距離情報とは、被写体までの距離、デフォーカス量、視差（像ズレ量）等の被写体の位置に関する情報であり、奥行情報或いは深さ情報と呼ばれることもある。また、視差の算出方法（測距演算）については、ＳＳＤＡ法や面積相関法等の周知の技術を用いることができ、その詳細についての説明は省略する。制御部１は、ＣＰＵ（演算処理回路）、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ及びＤ／Ａコンバータ等を有する。ＣＰＵがＲＯＭに記憶されたコンピュータプログラムをＲＡＭに展開することにより、撮像装置１００を構成する各部の動作が制御されることで、撮像装置１００の全体的な制御が実現される。なお、制御部１は、撮像装置１００を構成する各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサであってもよい。なお、測距演算部６及び画像処理部５についても同様で、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装されていてもよい。例えば、撮像装置１００を車載カメラとして用いる場合、車載カメラに内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、そのプログラムをコンピュータに実行させることで、各部の処理が実現される構成であってもよい。また、各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けてもよい。

表示部７は、例えば、液晶表示装置（ＬＣＤ）等であり、画像処理部５や測距演算部６により求められた画像情報や距離情報等の各種情報を表示する。なお、撮像装置１００は表示部７を備えていない構成であっても構わず、例えば、通信Ｉ／Ｆ１１を介して外部の表示装置に撮影画像等を表示可能な構成となっていてもよい。操作部８は、制御部１に対して各種の指令を与えるスイッチやボタン等である。記憶部９は、例えば、撮像装置１００に対して着脱自在なフラッシュメモリ等の半導体メモリ等であり、画像情報や距離情報を記憶する。通信Ｉ／Ｆ１１は、外部機器（例えば、撮像装置１００が移動体（不図示）等に搭載されている場合には、移動体の制御装置）との通信（データ送受信）を行う。

図２は、撮像素子１０の概略構成を説明する正面図であり、一部の領域Ｗ１を拡大して示している。自動車等の移動体に搭載されてその進行方向に現れる各種の物体に対する情報を取得する用途に撮像装置１００を用いる場合、撮像素子１０からの出力信号に基づき、撮影画像内の被写体認識と認識した被写体に対する測距とを正確且つ迅速に行う必要がある。そこで、撮像素子１０の撮像面は、Ｙ方向（視差方向）と直交するＺ方向に、撮像用画素行と測距用画素行とが交互に配置された構造を有する。撮像用画素行は、撮像画素がＹ方向に並べられた構成となっており、同様に、測距用画素行は、測距画素がＹ方向に並べられた構成となっている。撮像画素は、撮像光学系２を通して受光した光束を光電変換することにより、撮影画像を生成するための信号を出力する。測距画素は、撮像光学系２を通して受光した光束を光電変換することにより、視差画像を生成するための信号を出力する。

図３（ａ）〜（ｄ）は、撮像素子１０における撮像用画素行と測距用画素行の構成例を示す図である。図３（ａ）〜（ｄ）に示すように、撮像用画素行は、所定数の撮像画素２１がＺ方向においても並べられた構成となっていてもよい。但し、撮像用画素行の構成は、これに限られず、後述する図７に示すように撮像画素２１がＺ方向においては１個のみが配置された構成となっていてもよい。なお、撮像用画素行に示されているＲ（レッド）、Ｇ（グリーン）及びＢ（ブルー）はそれぞれ、撮像画素２１が有するカラーフィルタの色を示している。

図３（ａ）〜（ｃ）は、測距用画素行の構成のバリエーションを示しており、撮像用画素行の構成は同じとなっている。図３（ａ）〜（ｃ）には、測距画素３３（図３（ａ）〜（ｃ）において「Ｍ１」で示す）、測距画素３４（図３（ａ）〜（ｃ）において「Ｍ２」で示す）からなる測距用画素行が示されている。測距画素３３，３４の詳細については図６を参照して後述するが、測距画素３３はフォトダイオードＰＤ２のみを有し、測距画素３４はフォトダイオードＰＤ３のみを有する。測距画素３３のフォトダイオードＰＤ２からの出力信号と測距画素３３のフォトダイオードＰＤ３からの出力信号により視差画像（第２の画像，第３の画像）が生成される。図３（ａ）〜（ｃ）に示すように、測距画素３３，３４を１組として用いる場合には、Ｚ方向において複数組の測距画素がＺ方向に並べて配置された構成となっていてもよい。これにより、画素加算によってＳ／Ｎ比向上させ測距精度を向上させることや、Ｚ方向における長さを撮像用画素行の長さに揃えることが容易となり、画像補間を容易に行うことが可能になる。

図３（ｄ）は、Ｚ方向に複数の測距画素３１が並べて配置された測距用画素行の構成例を示している。測距画素３１を用いる場合も、所定数がＺ方向においても並べられた構成となっていてもよい。但し、測距画素３１を用いる場合でも、後述する図７に示すように測距画素３１がＺ方向においては１個のみが配置された構成となっていてもよい。撮像素子１０における撮像用画素行と測距用画素行の行数、撮像画素と測距画素の画素サイズ等は、要求される測距特性、画像品質、撮像素子１０の全体形状、撮像画素と測距画素の感度等に基づいて設定される。

撮像素子１０は、撮像用画素行と測距用画素行とを交互に配置して、従来よりも極めて多くの測距画素を有する構成となっているため、極めて高精度な測距を行うことが可能になる。

次に、撮像用画素行と測距用画素行の構成及び撮像画素と測距画素の構成例について説明する。図４（ａ）は、撮像素子１０における撮像用画素行と測距用画素行の第１の構成例を示す正面図であり、Ｙ方向では一部を、Ｚ方向では１周期分を示している。撮像用画素行は、一辺の長さＳ１の画素サイズを有する撮像画素２１がＹ方向に所定数並べられることによって構成されている。撮像画素２１の一辺の長さＳ１は、特に制限されるものではないが、具体的には１μｍ＜Ｓ１＜１０μｍである。図４（ｂ）は、図４（ａ）中の矢視Ａ−Ａでの断面図であり、１個の撮像画素２１についてその断面構造を示している。撮像画素２１は、光電変換部であるフォトダイオードＰＤ１の前面（撮像光学系２側）に、カラーフィルタＣＦと、マイクロレンズＭＬが配置された構造を有する。先に図１（ｂ）を参照して説明したように、撮像光学系２の射出瞳上には、撮影画像を生成するための光束を透過させるための第１の領域１５と、視差画像を生成するための光束を透過させるための第２の領域１６ａ，１６ｂが形成されている。フォトダイオードＰＤ１の受光面は、第１の領域１５を通過した光束を受光し、第２の領域１６ａ，１６ｂを通過した光束を実質的に受光しない位置及びサイズに設定されている。図４（ｃ）は、撮像画素２１（フォトダイオードＰＤ１）の感度と光束の入射角度との関係を説明する図である。前記の構成により、撮像画素２１は、入射角が零度のときに感度が最も大きくなる特性を有する。

測距用画素行は、一辺の長さＳ１の測距画素３１が、Ｙ方向に所定数並べられた構造を有する。ここでは、測距画素３１を撮像画素２１と同じ大きさに設定している。図４（ｄ）は、図４（ａ）中の矢視Ｂ−Ｂでの断面図であり、１個の測距画素３１についてその断面構造を示している。測距画素３１は、光電変換部である２つのフォトダイオードＰＤ２，ＰＤ３が、視差方向であるＹ方向に分かれて形成された構造を有する。フォトダイオードＰＤ２の受光面は、第２の領域１６ａを通過した光束を受光し、第１の領域１５及び別の第２の領域１６ｂを通過した光束を実質的に受光しない位置及びサイズに設定されている。同様に、フォトダイオードＰＤ３の受光面は、第２の領域１６ｂを通過した光束を受光し、第１の領域１５及び他方の第２の領域１６ａを通過した光束を実質的に受光しない位置及びサイズに設定されている。

図４（ｅ）は、測距画素３１（フォトダイオードＰＤ２，ＰＤ３）の感度と光束の入射角度との関係を説明する図である。ここで、測距画素３１による測距精度を高めるためにはフォトダイオードＰＤ２，ＰＤ３に入射する光束に対応する撮像光学系２での瞳における基線長を長く取ることが望まれる。しかし、瞳における基線長を長く取ると、フォトダイオードＰＤ２，ＰＤ３に対する入射角度が大きくなって入射光量が低下することにより画素信号のＳ／Ｎ比は低下する。そこで、開口絞り１２における第２の領域１６ａ，１６ｂは、所望する精度での測距を可能とする視差画像を取得することができる位置及び形状に設定されている。その結果、フォトダイオードＰＤ２は光束の入射角が−θ度のときに、フォトダイオードＰＤ３は光束の入射角が＋θ度のときにそれぞれ感度が最も大きくなる特性を有する。

なお、本実施形態では、フォトダイオードＰＤ２，ＰＤ３として、できる限り多くの光量を受光することができるように、カラーフィルタＣＦが設けられていない構造を例示している。しかし、このような構成に限定されず、カラーフィルタＣＦが配置された構造としてもよく、その場合には、感度を落とさないようにするために補色系カラーフィルタを用いることが望ましい。また、撮像装置１００では、後述するように、測距画素３１により得られる視差信号を撮影画像の生成に用いず、測距画素３１の位置での画像情報をその周辺の撮像画素２１の画像信号を用いて補完することによって求める。そのため、撮像素子１０では、測距画素３１の感度特性を撮像画素２１の感度特性に合わせる必要はない。

図５（ａ）は、撮像素子１０における撮像用画素行と測距用画素行の第２の構成例を示す正面図であり、Ｚ方向での１周期分を示している。撮像用画素行は、一辺の長さＳ１の撮像画素２１が、Ｙ方向に所定数並べられた構造を有する。撮像画素２１は、図４（ａ）に示した撮像画素２１と同じであるので、撮像画素２１についての説明は省略する。

測距用画素行は、測距画素３２が、Ｙ方向に所定数並べられた構造を有する。ここで、撮像画素２１のアスペクト比ＡＲ（＝Ｚ方向長さ／Ｙ方向長さ）は１であるのに対して、測距画素３２は、Ｚ方向長さＳ２がＹ方向長さＳ１よりも長く、アスペクト比ＡＲ（＝Ｓ２／Ｓ１）が１より大きい形状を有する。ここでは、アスペクト比ＡＲ＝Ｓ２／Ｓ１＝２に設定した例を示しているが、測距画素３２のアスペクト比はこれに限定されない。アスペクト比が整数であると、画素レイアウトが等間隔になり、回路構成が簡単になり、望ましい。また、測距画素３２のアスペクト比を極端に大きくすると、画像補間の精度が低下してしまうため、測距画素３２のアスペクト比ＡＲは１より大きく２以下とすることが望ましい。測距画素３２の断面構造は、図４（ｄ）に示した測距画素３１の断面構造に準ずる。測距画素３２が有する不図示のマイクロレンズは、Ｙ方向とＺ方向のパワーが異なるトーリック面（例えば、楕円回転体の曲面）を有する。

測距画素３２は、フォトダイオードＰＤ２ａ，ＰＤ３ａを有する。フォトダイオードＰＤ２ａ，ＰＤ３ａは、測距画素３２のアスペクト比ＡＲに応じて、測距画素３１のフォトダイオードＰＤ２，ＰＤ３をそれぞれＺ方向に長く延ばした形状を有する。これにより、測距画素３２では、測距画素３１よりも画素信号のＳ／Ｎ比を高めることができる。つまり、測距画素３２を用いることによって、測距精度を高めることができる。

図５（ｂ）は、撮像素子１０における撮像用画素行と測距用画素行の第３の構成例を示す正面図であり、Ｚ方向での１周期分を示している。測距用画素行は、測距画素３２が、Ｙ方向に所定数並べられた構造を有する。測距画素３２は、図５（ａ）に示した測距画素３２と同じであるので、測距画素３２についての説明は省略する。

撮像用画素行は、画素サイズの撮像画素２２が、Ｙ方向に所定数並べられた構造を有する。撮像画素２２は、フォトダイオードＰＤ１ａを有する。なお、撮像画素２２の構造は、図４（ｂ）に示したフォトダイオードＰＤ１の構造に準ずる。すなわち、撮像画素２２は、一辺の長さがＳ１の撮像画素２１をＹ方向とＺ方向のそれぞれに等倍に拡大することにより、一辺の長さＳ３の画素サイズを有する。なお、撮像画素２２が有する不図示のマイクロレンズＭＬも、画素サイズに応じて拡大されている。図５（ｂ）では、撮像画素２２の一辺の長さＳ３を測距画素３２の長辺方向の長さＳ２と同じ長さとしているが、これに限られるものではなく、長さＳ３は測距画素３２の短辺方向の長さＳ１よりも長くなっていればよい。第３の構成例では、開口絞り１２に設けられた第１の領域１５を透過した光束を受光面積の大きい１つのフォトダイオードＰＤ１ａで受光することにより、感度（Ｓ／Ｎ比）を高めることができるため、撮影画像の画質を向上させることができる。また、撮像素子１０のサイズが一定であれば、撮像用画素行での画素数が少なくなるため、撮影画像を生成するための演算負荷及び撮影画像に対する被写体認識処理の演算負荷を軽減することができ、これにより、画像情報をより高速で取得することが可能となる。

図６は、撮像素子１０における撮像用画素行と測距用画素行の第４の構成例を示す正面図であり、Ｚ方向での１周期分を示している。撮像用画素行は、撮像画素２１が、Ｙ方向に所定数並べられた構造を有する。撮像画素２１は、図４（ａ）に示した撮像画素２１と同じであるので、撮像画素２１についての説明は省略する。

測距用画素行は、測距画素３３（第１の測距画素）がＹ方向に所定数並べられた第１の行と、測距画素３４（第２の測距画素）がＹ方向に所定数並べられた第２の行とからなる構造を有する。測距画素３３は、フォトダイオードＰＤ２のみを備える点で、測距画素３１と異なる。また、測距画素３４は、フォトダイオードＰＤ３のみを備える点で、測距画素３１と異なる。つまり、測距画素３３と測距画素３４とは、フォトダイオードＰＤ２，ＰＤ３がＹ方向においてそれぞれのマイクロレンズＭＬの光軸に対して反対側に設けられている点で異なる。

第４の構成例では、Ｚ方向に並ぶ２個の測距画素３３，３４を１組として、測距画素３３，３４から出力される信号に基づいて視差画像を生成し、被写体に対する測距を行うため、測距用画素行は測距画素３３の行と測距画素３４の行から構成される。１組の測距画素３３，３４を用いることにより、フォトダイオードＰＤ２，ＰＤ３間のクロストークを抑制することができ、これにより測距精度を高めることができる。また、撮像光学系２に対する斜めからの入射光に対する感度を高めることができる。更に、基線長を測距画素３１よりも長くすることができることでも、測距精度を向上させることができる。なお、第４の構成例では、第２の構成例（図５（ａ））と同様に、１行の撮像用画素行は、測距用画素の形状との関係で、Ｚ方向に２個の撮像画素２１が配置された構成となっている。

図７は、図４に示した第１の構成例での、より広範囲の画素配置と測距画素３１の画素補間の例を説明する図である。図３と同様に、撮像用画素行において、「Ｇ」で示される撮像画素２１は、グリーンのカラーフィルタＣＦを有する画素を示している。また、「Ｒ」で示される撮像画素２１はレッドのカラーフィルタＣＦを有する画素を、「Ｂ」で示される撮像画素２１はブルーのカラーフィルタＣＦを有する画素をそれぞれ示している。測距用画素行を構成する測距画素３１は「Ｍ０」で示されている。

図７に示されるように、撮像素子１０では、カラーフィルタＣＦの配色が同じとなる２本の撮像用画素行の間に、２本の測距用画素行が配置され、２本の測距用画素行の間にカラーフィルタＣＦの配色の異なる１本の撮像用画素行が配置された構成となる。但し、図７に示した撮像用画素行におけるカラーフィルタＣＦの各色の配置は一例であって、これに限定されるものではない。よって、カラーフィルタＣＦの配色が異なる２本の撮像用画素行の間に、２本の測距用画素行が配置され、２本の測距用画素行の間に所定の配色でカラーフィルタＣＦが設けられた１本の撮像用画素行が配置された構成となる場合がある。このことは、後述する図８乃至図１０に示す撮像用画素行でのカラーフィルタＣＦの配置についても同様である。

撮像素子１０による撮像では、撮影画像を生成する際に、撮像画素２１からの出力信号を用いて測距画素３１が配置されている位置に対する画素補間処理を行う。例えば、図７中に太線枠で示されるように、１個の測距画素３１に対して、Ｚ方向で隣接する撮像用画素行にあって近接する６個の撮像画素２１の信号を用いることができる。但し、これに限定されるものではなく、必要とされる画像の解像度に応じて、より少ない数の撮像画素２１で測距画素３１の画素補間を行っても構わず、これにより画素補間での演算負荷を軽減することができる。

次に、測距精度を確保しながら、撮影画像の品質を高める構成と撮影画像を用いた被写体認識処理での演算負荷の軽減を図る構成について説明する。図８（ａ）は、撮像用画素行での画素加算読み出しを模式的に説明する図である。ここでは、撮像画素２１がＹ方向に所定数配置されると共にＺ方向に４個配置された撮像用画素行を例示している。測距用画素行には、測距画素３３，３４からなるものを示しており、測距画素３３は「Ｍ１」で示されており、測距画素３４は「Ｍ２」で示されている。但し、これに限定されず、測距用画素行は、測距画素３１或いは測距画素３２からなるものであってもよい。

撮像用画素行では、Ｙ方向とＺ方向を各辺とする所定の領域に含まれる複数の撮像画素２１に同色のカラーフィルタＣＦが設けられている。ここでは、（Ｙ方向：４個）×（Ｚ方向：４個）の撮像画素２１にグリーン（Ｇ）とレッド（Ｒ）のカラーフィルタＣＦが設けられている例を示しており、同色のカラーフィルタＣＦが設けられた１６個の撮像画素２１から信号を加算して読み出す。そして、読み出した加算信号から撮影画像を生成し、生成した撮影画像に対して被写体認識処理等の所定の画像処理が行われる。このような構成とすることにより、撮像用画素行での感度を向上させて撮影画像の画質を向上させることができ、また、後段での被写体認識処理での演算負荷を軽減することができる。

なお、同色のカラーフィルタＣＦが設けられた１群の撮像画素２１からの加算読み出しに代えて、１群の撮像画素２１の各画素から信号を読み出した後に、読み出した信号を加算して撮影画像を生成するようにしても、同様の効果を得ることができる。また、同色のカラーフィルタＣＦが設けられた１群の撮像画素２１は、（Ｙ方向：４個）×（Ｚ方向：４個）に限定されるものではない。また、図８（ａ）では、測距用画素行として１個の測距画素３３と１個の測距画素３４とがＺ方向に並んだものを示したが、図３（ａ）を参照して説明したように、２個の測距画素３３と２個の測距画素３４とがＺ方向で並んだ構成のものを用いてもよい。撮像用画素行を構成する撮像画素のＺ方向の数と測距用画素行を構成する測距画素のＺ方向の数とを等しくすることで、画像補間を容易にすることが可能となる。

図８（ｂ）は、撮像用画素行での画素加算読み出しと測距用画素行に対する画素補間を模式的に説明する図であり、図６を参照して説明した第４の構成例をより広い領域で示したものに相当する。撮像用画素行は、撮像画素２１がＹ方向に所定数配置されると共にＺ方向に２個配置されることによって構成されており、（Ｙ方向：２個）×（Ｚ方向：２個）の撮像画素２１に同色（Ｇ：グリーン、Ｒ：レッド、Ｂ：ブルー）のカラーフィルタＣＦが設けられている。同色のカラーフィルタＣＦを有する１群の撮像画素２１から信号を加算して読み出すことにより、図８（ａ）に示した構成と同様に、撮影画像の画質を向上させ、また、画像処理での演算負荷を軽減することができる。なお、前述のように、同色のカラーフィルタＣＦが設けられた１群の撮像画素２１のそれぞれから信号を読み出し、読み出した信号を加算して撮影画像を生成するようにしてもよい。

測距用画素行は、Ｚ方向に並べられた１組の測距画素３３，３４がＹ方向に所定数配置されることによって構成されている。測距画素３３，３４に対する画素補間は、一例を太線枠で示したように、（Ｙ方向：２個）×（Ｚ方向：２個）の測距画素３３，３４に対してＺ方向で隣接する撮像用画素行にあって近接する６群（各群では信号の加算読み出しを行う）の撮像画素２１の信号を用いる。このように、測距用画素行の画素数に撮像用画素行の画素数を合わせ、撮像用画素行ではカラーフィルタＣＦをＺ方向での画素数とＹ方向での画素数が同じとなるように設定する。これにより、撮影画像を生成するための測距画素の画素補間を容易に行うことができ、且つ、違和感のない撮影画像を生成することができる。なお、測距画素３３，３４に代えて図５（ａ）に示した測距画素３２（又は図４（ａ）に示した測距画素３１）を用いる場合には、測距用画素行でのＺ方向での画素数を半分にすることができる。そして、Ｙ方向に並んだ２個の測距画素３２（又は測距画素３１）に対する画素補間を、Ｚ方向で隣接する撮像用画素行にあって近接する６群の撮像画素２１の信号を用いて行うことで、同様の効果を得ることができる。

図９（ａ）は、図８（ｂ）に示した撮像用画素行と測距用画素行の配置形態の第１の変形例を示す図である。この第１の変形例では、Ｚ方向における１周期分の撮像用画素行と測距用画素行を１組とし、各組をＺ方向に配置する際に交互にＹ方向に半画素分だけずらした構成となっている。このような構成とすることにより、測距画素３３，３４による測距における視差方向（Ｙ方向）の分解能を高めて、より正確な測距を行うことが可能となる。（Ｙ方向：２個）×（Ｚ方向：２個）の測距画素３３，３４の画素補間には、例えば、図中に太線で示したように、Ｚ方向で隣接する撮像用画素行にある６群（１群はカラーフィルタＣＦの色が同じ４個の撮像画素２１）の撮像画素２１の信号を用いればよい。

図９（ｂ）は、図８（ｂ）に示した撮像用画素行と測距用画素行の配置形態の第２の変形例を示す図である。この第２の変形例では、撮像用画素行の配置を図８（ｂ）の配置と同じとして、測距用画素行をＺ方向では交互にＹ方向に半画素分だけずらして配置した構成となっている。このような構成とすることによっても、測距画素３３，３４による測距における視差方向（Ｙ方向）の分解能を高めて、より正確な測距を行うことが可能となる。Ｙ方向での半画素分のずれがない測距用画素行にある（Ｙ方向：２個）×（Ｚ方向：２個）の測距画素３３，３４の画素補間は、図８（ａ）の場合と同様の画素補間方法を用いればよい。一方、撮像画素２１に対してＹ方向に半画素分ずれた測距用画素行にある（Ｙ方向：２個）×（Ｚ方向：２個）の測距画素３３，３４の画素補間は、例えば、図中に太線枠で示すように、ＲＧＢのすべての色が含まれるように、Ｚ方向で対称となる領域を用いればよい。なお、Ｙ方向へのずらし量は、半画素に限定されるものではなく、１／３や１／４等のより小さい値にすることができ、これにより更に測距精度を高めることが可能となる。

図９（ａ），（ｂ）に示したように視差方向に半画素分だけずらした測距用画素行を設ける構成は、測距画素３３，３４を用いる構成に限定されず、図７に示した構成に対しても適用が可能である。図１０は、図７に示した撮像用画素行と測距用画素行の配置形態の変形例を示す図である。撮像用画素行での撮像画素２１の配置は図７の配置と同じであるが、測距用画素行はＺ方向において交互にＹ方向に半画素分だけずらして配置されている。Ｙ方向に半画素分ずれた測距用画素行にある１個の測距画素３１の画素補間には、例えば、Ｚ方向で隣接する４個の撮像画素２１（ＲＧＢのすべての色を含むことになる）を用いることができる。

次に、撮像素子１０の電子ズーム機能について説明する。図１１（ａ）は、一例として、撮像装置１００が自動車に搭載されて進行方向を撮影しているときに検知した物体を電子ズーム機能により拡大する動作を説明する図である。なお、以下に説明する撮像素子１０の電子ズーム機能は、撮像素子制御部４又は制御部１により実行される。なお、上述の実施形態では、撮影画像の画素数よりも撮像素子における撮影画像用の画素数を多く設定してダウンサンプリングしているため、ここでの電子ズームは「アップサンプリング」ではなく「ダウンサンプリング」のサンプリング間隔の調整になる。そのため、画質劣化がほとんどない電子ズームが可能となる。電子ズームで生成した画像は、不図示の表示手段や画像処理演算手段、画像認識演算手段等へ出力される。電子ズーム機能、アップサンプリング、ダウンサンプリングについては周知であるので、ここでの説明を省略する。

撮像装置１００を自動車等の移動体の運転支援に用いる場合に、進行方向の正面についてのより正確な画像情報又は距離情報を取得することが望まれる場合がある。移動体の進行方向の正面に相当する領域は、概ね、撮影画像ＳＣ（撮影範囲全体が表示されているものとする）のほぼ中央部となる。そこで、図１１（ａ）の左側の図に示されるように被写体認識処理により物体６０を予め設定された領域Ｗ２内に検出された場合に、図１１（ａ）の右側の図に示されるように領域Ｗ２を電子ズームにより拡大する。電子ズーム動作は、撮像素子中の画素信号読出し位置を領域Ｗ２に制限してもよいし、全領域の画素信号を読み出した後に不図示の画像生成手段で領域Ｗ２に制限して画像を生成するようにしてもよい。このときの拡大倍率と物体６０の大きさ、物体の変化や画面内の位置に基づいて物体６０までの測距（撮影画像を用いた測距）を行う。これにより、撮像面位相差方式で一般的に測距精度が低下する遠距離側の測距レンジを拡大することができる。撮影画像を用いた測距については、周知であるので（例えば、ＵＳ２０１５／００９２９８８Ａ１参照）、ここでの説明を省略する。

なお、当初の「撮像面位相差方式」による測距により予め定められた一定距離よりも遠くにあると判定された物体が領域Ｗ２内に認められたときにのみ、上述した電子ズーム機能が実行されるようにしてもよい。また、領域Ｗ２は設定せずに、「撮像面位相差方式」で予め定められた一定距離よりも遠くにあると判定された任意の領域（又は特定の物体）に対して、上述した電子ズーム機能が実行されるようにしてもよい。具体的には、その任意の領域（又は特定の物体）に対して、自動的にダウンサンプリング処理を止めて（又はサンプリング間隔を短くして）、前述の「撮影画像を用いた測距」に切り替えて距離情報を取得するようにしてもよい。その際、その「撮影画像を用いた測距」で取得した距離情報と撮像面位相差方式で取得した他の領域の距離情報とをマージして出力する構成としてもよい。このとき、撮像素子は、撮影画像用の画素数が撮影画像の画素数よりも多く、また撮像面位相差方式による測距が可能であればよい。つまり、図１１（ｂ）に示すような、視差画像と撮影画像の両方を取得することができる画素を全面に配置した撮像素子であってもよい。図１１（ｂ）に示す画素は、１画素内に、１つのマイクロレンズＭＬと１つのカラーフィルタＣＦに対して、フォトダイオードＰＤ１とフォトダイオードＰＤ２の２つのフォトダイオードが設けられた構造を有する。フォトダイオードＰＤ１とフォトダイオードＰＤ２の信号を別々に出力することで視差画像を取得することができ、加算して出力することで撮影画像を得ることができる。

次に、撮像装置を移動体に搭載した場合のシステム構成について説明する。図１２は、撮像装置１００を移動体の一例である自動車５０に搭載した場合のシステム構成の一例を示す図である。撮像装置１００は、例えば、自動車５０のフロントガラスの内側上部に取り付けられて前方を所定の画角５９で撮影する。そして、撮像装置１００は、前述したように撮影画像に対して被写体認識処理を行い、前方（進行方向）に現れる各種の物体を検出し、検出した物体に対する測距を行う。撮像装置１００の制御部１は、自動車５０が備える制御装置５５へ画像情報と距離情報を提供する。なお、移動体に搭載する場合、撮像装置１００は、図１に示したレンズ制御部３、表示部７、操作部８及び記憶部９を備えていない構成であっても構わない。

自動車５０は、制御装置５５、車両情報取得装置５１、警報装置５２及び制動装置５３を備える。車両情報取得装置５１は、車速（移動速度）、ヨーレート、舵角（移動方向）、エンジンの回転速度、ギア段等の自動車５０の動的情報の少なくとも１つを車両情報として検知し、検知した車両情報を制御装置５５へ供給する。警報装置５２は、制御装置５５からの指令に従い、警報を鳴らす、カーナビゲーションシステム等の画面に警報情報を表示する、シートベルトやステアリングに振動を与える等により、ユーザに警告を行う。制動装置５３は、制御装置５５からの指令に従い、エンジンの回転速度制御やギアのシフト制御、ブレーキアシスト（ＡＢＳ、ＥＳＣ、自動ブレーキ等）、ハンドルアシスト（自動追従運転、車線逸脱防止等）等の各種の動作を行う。

制御装置５５は、車両情報取得装置５１から取得した車両情報と撮像装置１００から取得した所定の物体に対する距離情報に基づいて、警報装置５２と制動装置５３の動作を制御するコンピュータである。また、制御装置５５は、撮像装置１００の制御部１と通信を行い、制御部１に対してホストコンピュータとして機能する。つまり、制御装置５５は、制御部１に対して画像情報と距離情報の取得と、取得した画像情報と距離情報の制御装置５５への送信を指令する。

図１３は、自動車５０での動作制御の一例である衝突防止制御のフローチャートである。図１３のフローチャートに示す処理のうち、ステップＳ１１，Ｓ１３〜Ｓ１４の処理は、自動車５０の制御装置５５による制御の下で、撮像装置１００の制御部１によって実行される。ステップＳ１２，Ｓ１５，Ｓ１６の処理は、自動車５０の制御装置５５によって実行される。

ステップＳ１１では、制御部１の制御下で、撮像光学系２及び撮像素子１０が撮影を行い、画像処理部５が撮影画像及び視差画像を生成する。ステップＳ１２において、制御装置５５は、車両情報取得装置５１から車両情報を取得する。ステップＳ１３では、制御部１の制御下で、ステップＳ１１で取得した画像情報に基づき画像処理部５が撮影画像に対して被写体認識処理を行う。具体的には、ステップＳ１３では、撮影画像におけるエッジの量や方向、濃度値、色、輝度値等の特徴量を解析することにより、車両や自転車、歩行者、車線、ガードレール、ブレーキランプ等（以下「対象物」という）が検出される。なお、被写体認識処理は、複数のフレーム画像に対して行ってもよいし、複数のフレーム画像のうちの一部（少なくとも１つのフレーム画像）に対して行ってもよい。ステップＳ１４では、制御部１の制御下で、ステップＳ１１で取得した視差画像とステップＳ１３で検出した対象物とに基づいて測距演算部６が対象物の距離情報を演算する。

なお、ステップＳ１２の処理と、一連の処理であるステップＳ１１，Ｓ１３，１４の処理とは、上記の通りに行われてもよいし、並行して行われてもよい。また、ステップＳ１３とステップＳ１４の順番を入れ替えてもよい。その場合、まず、ステップＳ１４では、制御部１の制御下で、ステップＳ１１で取得した視差画像に基づいて測距演算部６が距離情報を各画素で演算して距離画像（デプスマップ）を生成する。そして、ステップＳ１３では、制御部１の制御下で、ステップＳ１１で取得した撮影画像とステップＳ１４で生成した距離画像とに基づいて画像処理部５が対象物を検出する。なお、フォトダイオードＰＤ２からの出力信号により生成された第２の画像とフォトダイオードＰＤ３からの出力信号により生成された第３の画像とから視差を求めて、デフォーカス量や対象物までの距離を求める方法は、周知であるため、ここでの説明を省略する。例えば、ＵＳ２０１５／００９７９９１Ａ１に、当該方法についての説明がある。

ステップＳ１５において制御装置５５は、ステップＳ１４で求められた距離情報に基づき、対象物までの距離が予め定められた設定距離内にあるか否か（設定距離内に対象物（＝障害物）が存在するか否か）を判定する。そして、制御装置５５は、設定距離内に対象物が存在する場合に、ステップＳ１２で取得した車両情報（特に移動速度及び移動方向）と対象物の位置及び対象物までの距離に基づき、設定距離内の対象物に対する衝突可能性の有無を判定する。なお、路面状況に関する情報の取得が可能な構成を有する自動車５０であれば、ステップＳ１５の処理では、路面情報（乾いた路面か濡れた路面か）に応じて設定距離を変える（濡れた路面であれば設定距離を長くする）ようにしてもよい。

制御装置５５は、衝突可能性がないと判定した場合（Ｓ１５でＮＯ）、処理をステップＳ１１へ戻し、衝突可能性があると判定した場合（Ｓ１５でＹＥＳ）、処理をステップＳ１６へ進める。ステップＳ１６では、制御装置５５の制御下で、警報装置５２と制動装置５３による衝突回避動作を行う。衝突回避動作としては、警報装置５２による運転手に対する警報発令や、制動装置５３によるブレーキング、低速ギアへの移行、エンジン出力の抑制等が挙げられるが、これらに限定されるものではない。制御装置５５は、ステップＳ１６の後、処理をステップＳ１１へ戻す。以上のフローにより、正確に対象物（障害物）を検知して、衝突回避或いは衝突時の被害軽減を図ることができる。

ここでは、撮像装置１００が取得した画像情報と距離情報に基づく衝突回避制御について説明した。しかし、これに限定されず、先行車への自動追従制御や車線内中央の走行維持制御、車線逸脱防止制御は、ステップＳ１５での判定基準が異なるだけであり、図１３のフローチャートに従う同様の手法によって実現することができる。

上記の自動車５０のシステム構成では、撮像装置１００は自動車５０の車両前方のみに装着されているが、撮像装置１００を車両後方の撮影が可能な位置に取り付けて、画像情報及び距離情報を自動車５０の後退時の運転支援に用いることもできる。また、撮像装置１００が取得した画像情報と距離情報は、運転支援に限らず、自律運転にも適用が可能である。更に、撮像装置１００は、自動車（乗用車、トラック、バス、特殊車両、自動二輪車等を含む）限らず、画像情報と距離情報に基づく動作制御が可能な各種の移動体、例えば、船舶や鉄道車両、航空機或いは産業用ロボット等への適用が可能である。加えて、撮像装置１００は、移動体に搭載される用途に限られることなく定点カメラとしても用いることができ、例えば、交差点監視システム、高度道路交通システム（ＩＴＳ）等の広く物体認識を利用するシステムに適用することができる。

なお、自動車５０のシステム構成において、撮像装置１００の撮像光学系２及び撮像素子１０以外の各部の機能を自動車５０の制御装置５５に持たせた構成としても構わない。つまり、撮像装置１００の光学系及び撮像素子と制御系とを分離した構成として、制御系の機能を制御装置５５の機能に統合したシステム構成としてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記実施形態では、図４に示したように、撮像画素と測距画素とでフォトダイオードの配置や形状を異ならせた構成について説明した。これに対して、撮像画素と測距画素とでフォトダイオードの配置や形状を異ならせずに、撮像画素と測距画素のそれぞれに遮光膜を設けることによって各画素が有するフォトダイオードに入射する光束を制御する構成としてもよい。図１４（ａ）は、遮光膜７１を設けた撮像画素２５の概略構成を示す断面図であり、図１４（ｂ）は、遮光膜７２を設けた測距画素３５の概略構成を示す断面図であり、図１４（ｃ）は、遮光膜７３を設けた測距画素３６の概略構成を示す断面図である。撮像画素２５と測距画素３５，３６とでは、フォトダイオードＰＤの配置と形状が同じとなっている。撮像画素２５の感度と光束の入射角度との関係は、図４（ｃ）と同様になる。測距画素３５の感度と光束の入射角度との関係は、図４（ｅ）のフォトダイオードＰＤ２と同様になる。測距画素３６の感度と光束の入射角度との関係は、図４（ｅ）のフォトダイオードＰＤ３と同様になる。例えば、図６の画素配置において、撮像画素２１に代えて撮像画素２５を、測距画素３３に代えて測距画素３５を、測距画素３４に代えて測距画素３６をそれぞれ配置することによっても、図６の構成と同様の効果を得ることができる。なお、撮像素子１０は、表面照射型であってもよいし、裏面照射型であってもよい。裏面照射型の場合には、画素間のクロストークを低減するために、画素境界にタングステンからなる遮光膜を設けてもよい。

１ 制御部
２ 撮像光学系
４ 撮像素子制御部
５ 画像処理部
６ 測距演算部
１０ 撮像素子
２１，２２，２５ 撮像画素
３１，３２，３３，３４，３５ 測距画素
５０ 自動車
５１ 車両情報取得装置
５２ 警報装置
５３ 制動装置
５５ 制御装置
１００ 撮像装置

Claims (19)

1. 撮影画像用の信号を出力する撮像画素と、測距用の信号を出力する測距画素とを有する撮像素子であって、
   複数の前記撮像画素が第１の方向に並べられて構成される撮像用画素行と複数の前記測距画素が前記第１の方向に並べられて構成される測距用画素行とが前記第１の方向と直交する第２の方向に配置されており、
   前記測距用画素行の少なくとも１つは他のある１つの測距用画素行に対して前記第２の方向において前記第１の方向にずらして配置されていることを特徴とする撮像素子。
2. 前記測距画素は、前記第１の方向に沿って設けられている２つの光電変換部を有することを特徴とする請求項１に記載の撮像素子。
3. 前記測距画素は、前記第２の方向の最大幅が前記第１の方向の最大幅よりも大きいことを特徴とする請求項２に記載の撮像素子。
4. 前記測距用画素行は、第１の測距画素が前記第１の方向に並べられて構成される第１の行と、第２の測距画素が前記第１の方向に並べられて構成される第２の行とを有し、
   前記第１の測距画素が有する光電変換部と前記第２の測距画素が有する光電変換部とは、前記第１の方向において互いに反対側に設けられていることを特徴とする請求項１に記載の撮像素子。
5. 前記撮像画素と前記測距画素はそれぞれ１つの光電変換部を有し、開口部を有する遮光膜が前記光電変換部の上部に設けられたことを特徴とする請求項４に記載の撮像素子。
6. 複数の前記撮像用画素行のうちでカラーフィルタの配色が同じ２本の撮像用画素行の間に少なくとも２本の前記測距用画素行が配置されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 前記２本の撮像用画素行の間に、前記少なくとも２本の前記測距用画素行と、前記２本の撮像用画素行とはカラーフィルタの配色が異なる１本の撮像用画素行と、が配置されていることを特徴とする請求項６に記載の撮像素子。
8. 前記撮像用画素行は、前記撮像画素が前記第１の方向に並べられると共に前記第２の方向に並べられて構成されており、前記第１の方向と前記第２の方向を各辺とする所定の領域に含まれる複数の撮像画素に同色のカラーフィルタが設けられていることを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
9. 前記測距画素よりも前記撮像画素の方が面積が大きいことを特徴とする請求項１乃至８のいずれか１項に記載の撮像素子。
10. 前記撮像画素の前記第１の方向の最大幅が、前記測距画素の前記第１の方向の最大幅より大きいことを特徴とする請求項１乃至９のいずれか１項に記載の撮像素子。
11. 前記測距画素は、カラーフィルタを有しておらず、または、補色系カラーフィルタを有することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像素子。
12. 複数の前記測距用画素行は、前記第２の方向において、前記第１の方向に半画素分だけずらして配置されていることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像素子。
13. 前記撮像用画素行に含まれている行の数と前記測距用画素行に含まれている行の数とが同じであることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像素子。
14. 撮影画像用の信号を出力する撮像画素と、第１及び第２の測距画素とを備え、前記第１及び第２の測距画素から対となる測距用の信号を出力する撮像素子であって、
    複数の前記撮像画素が第１の方向に並べられて構成される撮像用画素行と、複数の前記第１及び第２の測距画素の対が前記第１の方向に並べられて構成される測距用画素行とが前記第１の方向と直交する第２の方向に配置されており、
    前記測距用画素行の少なくとも１つは他のある１つの測距用画素行に対して前記第２の方向において前記第１の方向にずらして配置されていることを特徴とする撮像素子。
15. 請求項１乃至１４のいずれか１項に記載の撮像素子と、
    前記撮像素子に光学像を結像させる撮像光学系と、
    前記撮像素子が有する前記撮像画素からの出力信号に基づいて撮影画像を生成する画像処理手段と、
    前記撮像素子が有する前記測距画素からの出力信号に基づいて前記撮影画像に含まれる被写体の距離情報を求める測距手段と、を備えることを特徴とする撮像装置。
16. 請求項８に記載の撮像素子と、
    前記撮像素子に光学像を結像させる撮像光学系と、
    前記撮像素子が有する前記撮像画素からの出力信号に基づいて前記光学像の撮影画像を生成する画像処理手段と、
    前記撮像素子が有する前記測距画素からの出力信号に基づいて前記撮影画像に含まれる被写体の距離情報を求める測距手段と、を備え、
    前記画像処理手段は、前記撮像素子において前記同色のカラーフィルタが設けられた複数の撮像画素から出力される信号を加算して撮影画像を生成することを特徴とする撮像装置。
17. 移動体であって、
    請求項１５又は１６に記載の撮像装置と、
    前記撮像装置が有する前記測距手段により求められた距離情報に基づいて前記移動体を制御する制御手段と、を備えることを特徴とする移動体。
18. 前記移動体の情報を取得する情報取得手段を備え、
    前記制御手段は、前記移動体の情報と前記距離情報とに基づいて、前記移動体の移動方向または移動速度を制御することを特徴とする請求項１７に記載の移動体。
19. 前記制御手段は、前記移動体が障害物と衝突する可能性があると判定された場合に、前記移動体の移動方向または移動速度を制御することを特徴とする請求項１７又は１８に記載の移動体。

Images