JP6632242B2 - 撮像装置及び撮像システム - Google Patents

Description

本発明は、撮像装置及び撮像システムに関する。

特許文献１には、複数の光電変換部を含む画素を複数有する撮像装置における高速化の技術が記載されている。撮像装置に含まれる複数の画素は、複数の光電変換部のうちの一部の光電変換部の信号電荷に基づく測距信号と、複数の光電変換部の信号電荷に基づく映像信号とを出力する。また、測距信号を複数画素分加算して出力する撮像装置も特許文献１に開示されている。

また、特許文献２には、複数の光電変換部を含む画素のうち、一部の光電変換部の電荷に基づく信号の飽和の検出と、他の光電変換部の電荷に基づく信号の飽和の検出とを行うことが記載されている。

特開２０１３−２１１８３３号公報 特開２０１４−１０６４７８号公報

しかしながら、測距信号を複数画素分加算して出力する撮像装置において、加算する複数の測距信号の少なくとも１つが飽和している場合、測距情報に誤差が生じる可能性がある。これにより、撮像装置が搭載される撮像システムでの処理において誤差が生じることがある。

本発明は上述した課題に鑑みてなされたものであり、加算する複数の信号の少なくとも１つが飽和することにより生じ得る誤差を低減することを目的とする。

本発明の一観点に係る撮像装置は、行列状に配された複数の画素と複数のマイクロレンズとを有する画素部であって、前記複数のマイクロレンズの各々は、前記複数の画素のうちの互いに異なる１つの画素と対応して配されており、前記複数の画素の各々が、信号電荷を生成するｍ個（ｍは２以上の整数）の光電変換部を含むとともに、前記信号電荷に基づいた信号を出力し、前記複数の画素の少なくとも一部の前記画素の各々が、前記ｍ個の光電変換部のうち、前記ｍ個よりも少ないｎ個（ｎは整数）の前記光電変換部の前記信号電荷に基づいた第１の信号を出力する画素部と、互いに異なる複数の前記画素から出力された複数の前記第１の信号同士を加算する加算部と、前記複数の第１の信号の各々と所定の閾値との比較によって複数の判定結果を生成し、前記複数の判定結果を用いて、前記加算部により加算される前記複数の第１の信号が前記所定の閾値より大きい信号を含むか否かを示すフラグ信号を生成する判定部と、前記フラグ信号及び前記加算部で前記複数の第１の信号同士を加算して得られた信号を出力する出力部とを有することを特徴とする。

本発明の他の観点に係る撮像システムは、行列状に配された複数の画素と複数のマイクロレンズとを有する画素部であって、前記複数のマイクロレンズの各々は、前記複数の画素のうちの互いに異なる１つの画素と対応して配されており、前記複数の画素の各々が、信号電荷を生成するｍ個（ｍは２以上の整数）の光電変換部を含むとともに、前記信号電荷に基づいた信号を出力し、前記複数の画素の少なくとも一部の前記画素の各々が、前記ｍ個の光電変換部のうち、前記ｍ個よりも少ないｎ個（ｎは整数）の前記光電変換部の前記信号電荷に基づいた第１の信号を出力する画素部を有する撮像装置と、前記撮像装置が出力する信号を処理する信号処理部であって、互いに異なる複数の前記画素から出力された複数の前記第１の信号同士を加算する加算部と、前記複数の第１の信号の各々と所定の閾値との比較によって複数の判定結果を生成し、前記複数の判定結果を用いて、前記加算部により加算される前記複数の第１の信号が前記所定の閾値より大きい信号を含むか否かを示すフラグ信号を生成する判定部と、前記フラグ信号及び前記加算部で前記複数の第１の信号同士を加算して得られた信号を出力する出力部とを有する信号処理部とを有することを特徴とする。

加算する複数の信号の少なくとも１つが飽和することにより生じ得る誤差を低減することができる。

第１の実施形態に係る撮像装置の構成を示す図である。 （ａ）は、第１の実施形態に係る画素の等価回路図であり、（ｂ）は、第１の実施形態に係る画素回路の駆動タイミングチャートである。 （ａ）は、第１の実施形態に係る画素の上面図であり、（ｂ）は、第１の実施形態に係る画素の断面図である。 第１の実施形態に係る撮像装置の構成をより詳細に示す図である。 第１の実施形態に係る測距信号処理部の構成を示す図である。 第２の実施形態に係る信号出力処理を示す図である。 第３の実施形態に係る撮像装置の構成を示す図である。 第３の実施形態に係る増幅回路内部の回路、加算スイッチ、飽和判定部をより詳細に示す図である。 （ａ）は、第３の実施形態に係る画素の等価回路図であり、（ｂ）は、第３の実施形態に係る画素回路の駆動タイミングチャートである。 （ａ）は、第３の実施形態に係る画素の上面図であり、（ｂ）は、第３の実施形態に係る画素の断面図である。 第４の実施形態に係る撮像装置の構成を示す図である。 第４の実施形態に係る撮像装置の構成をより詳細に示す図である。 第４の実施形態に係る信号出力処理を示す図である。 第５の実施形態に係る撮像システムの構成を示す図である。

（第１の実施形態）
図１は、第１の実施形態に係る撮像装置の構成を示す図である。撮像装置は、画素部１０、垂直走査回路（ＶＳＣ）１１及びタイミングジェネレータ（ＴＧ）１２を有する。撮像装置は、さらに、読み出し回路１３ａ、１３ｂ、ランプ信号発生器（ＲＡＭＰ ＧＥＮ）１４ａ、１４ｂ、カウント信号発生器（ＣＮＴ ＧＥＮ）１５ａ、１５ｂ、水平走査回路（ＨＳＣ）１６ａ、１６ｂ及び信号処理部（ＰＲＯＣ）１７ａ、１７ｂを有する。

画素部１０は、行列状に配列された複数の画素１０１を含む。垂直走査回路１１は、画素１０１を行ごとに制御するための制御信号を出力する。垂直走査回路１１からの制御により選択された行の画素１０１は、列ごとに設けられた垂直出力線１０２を介して読み出し回路１３ａ又は読み出し回路１３ｂに信号を出力する。

１行目の画素１０１は垂直出力線１０２を介して読み出し回路１３ａ側に接続され、２行目の画素１０１は垂直出力線１０２を介して読み出し回路１３ｂ側に接続される。以下同様に、奇数行目の画素１０１は垂直出力線１０２を介して１３ａ側に接続され、偶数行目の画素１０１は垂直出力線１０２を介して１３ｂ側に接続される。

読み出し回路１３ａ、１３ｂの各々は、画素１０１の各列に対応して設けられた、定電流源１３１、増幅回路１３２、コンパレータ１３３及びメモリ１３４を含む。

以下、読み出し回路１３ａの構成について説明するが、読み出し回路１３ｂの構成は読み出し回路１３ａと同様であるため説明を省略する。

定電流源１３１は垂直出力線１０２に画素１０１からの信号読み出しのための電流を供給する。垂直出力線１０２を流れる画素１０１からの信号は、増幅回路１３２に入力される。増幅回路１３２から出力される信号は、コンパレータ１３３の一方の入力端子に入力される。ランプ信号発生器１４ａは、コンパレータ１３３のもう一方の入力端子にランプ信号を出力する。ランプ信号は、時間に応じて電位が線形に変化する信号であり、コンパレータ１３３での電位の比較に用いられる参照信号である。

コンパレータ１３３は、増幅回路１３２からの出力電位とランプ信号発生器１４ａからのランプ信号の電位とを比較し、両者の電位の大小関係が逆転した時にコンパレータ１３３の出力が反転する。カウント信号発生器１５ａは時間に比例してカウントアップするカウント信号を生成する。メモリ１３４は、コンパレータ１３３の出力が反転した瞬間のカウント信号を取り込み、デジタル信号として保持する。これにより、メモリ１３４にはコンパレータ１３３の出力が反転するまでの時間に比例した値、すなわち、画素１０１からの出力信号の電圧に比例した値となる。これにより、画素１０１からの出力信号がデジタル信号に変換される。すなわち、コンパレータ１３３はアナログデジタル変換回路（ＡＤ変換回路）として動作する。ＡＤ変換後のデジタル信号のビット数は撮像装置の設計仕様に基づき任意に定めることができる。例えば、この信号は、１２ビットの２進数のデジタル信号とすることができる。

水平走査回路１６ａ、１６ｂは、各列のメモリ１３４を順次走査して、各列のメモリ１３４に保持されている値を、信号処理部１７ａ、１７ｂへそれぞれ伝送させる。信号処理部１７ａ、１７ｂは、各列のメモリ１３４から入力された値を処理し、出力信号を生成する。

タイミングジェネレータ（ＴＧ）１２は、垂直走査回路１１、読み出し回路１３ａ、１３ｂ、ランプ信号発生器１４ａ、１４ｂ、カウント信号発生器１５ａ、１５ｂ、水平走査回路１６ａ、１６ｂに対し、制御信号を出力する。ＴＧ１２の制御に基づき、撮像装置内の各回路がシーケンシャルに駆動する。

図２（ａ）は、本実施形態に係る画素１０１内部の等価回路を示す図である。画素１０１は、２つのフォトダイオード１０３ａ、１０３ｂを含み、２つのフォトダイオード１０３ａ、１０３ｂには画素回路１１０ａ、１１０ｂがそれぞれ接続されている。フォトダイオード１０３ａ、１０３ｂは、光電変換により入射光に応じた電荷を生成し、蓄積する光電変換部である。画素回路１１０ａは、転送トランジスタ１０４ａ、リセットトランジスタ１０５ａ、出力トランジスタ１０６ａ及び選択トランジスタ１０７ａを含む。画素回路１１０ｂも同様にこれらのトランジスタを含む。転送トランジスタ１０４ａ、１０４ｂは制御信号Ｔｘにより導通（オン）又は非導通（オフ）に制御される。リセットトランジスタ１０５ａ、１０５ｂは制御信号Ｒｅｓにより導通又は非導通に制御される。選択トランジスタ１０７ａ、１０７ｂは制御信号Ｓｅｌにより導通又は非導通に制御される。以下、各トランジスタはＮ型のＭＯＳトランジスタであるものとするがこれに限定されない。例えば、Ｐ型のＭＯＳトランジスタを用いた回路に適宜置き換えることができる。

画素回路１１０ａの構成について説明する。フォトダイオード１０３ａのアノードは接地され、カソードは転送トランジスタ１０４ａのソースに接続される。転送トランジスタ１０４ａのドレイン及びリセットトランジスタ１０５ａのソースは出力トランジスタ１０６ａのゲートに接続される。リセットトランジスタ１０５ａ及び出力トランジスタ１０６ａのドレインには電源電圧等の所定の電圧が入力される。出力トランジスタ１０６ａのソースは選択トランジスタ１０７ａのドレインに接続される。選択トランジスタ１０７ａのソースは垂直出力線１０２ａに接続される。画素回路１１０ｂも同様の構成を有しているため説明を省略する。

図２（ｂ）は、画素回路１１０ａ、１１０ｂの駆動方法を示す一画素行の駆動タイミングチャートである。各信号がＨｉｇｈのとき、対応する各トランジスタがオンになり、Ｌｏｗのとき、対応する各トランジスタがオフになるものとする。

時刻Ｔ１以前の初期状態において、制御信号Ｓｅｌ、ＴｘがＬｏｗであり、制御信号ＲｅｓがＨｉｇｈである。よって、リセットトランジスタ１０５ａ、１０５ｂがオンのため出力トランジスタ１０６ａ、１０６ｂのゲートの電位はリセット状態である。

時刻Ｔ１において、制御信号ＳｅｌがＨｉｇｈになる。これにより、選択トランジスタ１０７ａ、１０７ｂがオンになり、画素１０１の出力トランジスタ１０６ａ、１０６ｂがそれぞれ垂直出力線１０２ａと１０２ｂに接続される。

時刻Ｔ２において、制御信号ＲｅｓがＬｏｗになる。これにより、リセットトランジスタ１０５ａ、１０５ｂがオフになり、出力トランジスタ１０６ａ、１０６ｂのゲートがフローティング状態になり、リセット状態に対応した電圧が垂直出力線１０２ａ、１０２ｂに現れる。

時刻Ｔ３において、制御信号ＴｘがＨｉｇｈになり、転送トランジスタ１０４ａ、１０４ｂがオンになる。この動作により、フォトダイオード１０３ａ、１０３ｂに蓄積された信号電荷がそれぞれ出力トランジスタ１０６ａ、１０６ｂのゲートに転送される。これによって、フォトダイオード１０３ａで生成された信号電荷量に応じた電圧振幅が垂直出力線１０２ａに現れ、フォトダイオード１０３ｂで生成された信号電荷量に応じた電圧振幅が垂直出力線１０２ｂに現れる。

その後、時刻Ｔ４において、制御信号ＴｘがＬｏｗになり、時刻Ｔ５において、制御信号Ｒｅｓがｈｉｇｈになり、時刻Ｔ６において、制御信号ＳｅｌがＬｏｗになることで、元の状態に戻り、当該行の信号読み出しが終了する。

図３（ａ）は本実施形態に係る画素の上面図である。画素１０１は、第１の光電変換部である第１のフォトダイオード１０３ａ、第２の光電変換部である第２のフォトダイオード１０３ｂ、フォトダイオード１０３ａに接続された画素回路１１０ａ及びフォトダイオード１０３ｂに接続された画素回路１１０ｂを含む。以下では、１つの画素１０１が有するフォトダイオード１０３ａとフォトダイオード１０３ｂとをまとめて表す際は、受光部と表記する。１つのマイクロレンズ２３は、１つの受光部を覆うように配され、光束を受光部に集光する。つまり、１つのマイクロレンズ２３は１つの受光部に対応して設けられている。また、１つのマイクロレンズ２３によって集光された光は、１つのマイクロレンズ２３に対応して設けられた画素１０１が有する２つのフォトダイオード１０３ａ、１０３ｂに入射する。本実施形態の撮像装置は、複数のマイクロレンズ２３を有するマイクロレンズアレイを有する。

このような画素の構造とすることで、フォトダイオード１０３ａからの信号とフォトダイオード１０３ｂからの信号とを加算すれば、受光部全体からの信号を表すこととなり、被写体の映像信号（第２の信号）として使用できる。さらに、これとともに、フォトダイオード１０３ａ又はフォトダイオード１０３ｂからの単独の信号は被写体の位相信号を表す。すなわち、これらの信号は２つの測距信号（第１の信号、第３の信号）として使用できる。

図３（ｂ）は、図３（ａ）でα−β線で示した部分の断面図である。マイクロレンズ２３とフォトダイオード１０３ａ、１０３ｂとの間にはカラーフィルタ２２が設けられている。カラーフィルタ２２は所定の波長（所定の色）の入射光を選択的に透過させる、波長選択性を有する光フィルタである。

本実施形態では、カラーフィルタ２２は赤（Ｒ）、緑（Ｇｒ及びＧｂ）、青（Ｂ）の３色とする。各色のカラーフィルタが設けられた画素をそれぞれＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素と呼ぶ。なお、カラーフィルタ２２の色の組み合わせはこれ以外でもよく、例えば補色フィルタでもよい。

次に、図４を用いて、本実施形態における出力信号の処理を説明する。図４は、図１を参照して説明した撮像装置の構成をより詳細に示したものである。複数の画素１０１は、Ｒ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素を一単位とするベイヤー配列により配列されている。また、増幅回路１３２、コンパレータ１３３、メモリ１３４の各要素の符号には、列番号及び接続されるフォトダイオードに対応する枝番が付されている。例えば、１列目のフォトダイオード１０３ａから出力された信号が入力される増幅回路は増幅回路１３２ａ−０１ａとしている。以下の説明では、特定の列の要素を指す場合に符号に枝番を付し、列を特定する必要がない場合には符号に枝番を付さないものとする。また、図４において、ＴＧ１２については図示を省略している。後述の図７、図１２についても同様である。

垂直走査回路１１により走査が開始されると、まず１行目と２行目が選択される。このとき、１行目と２行目の画素１０１において、上述のＡＤ変換動作が行われる。これにより、生成されたデジタル信号が各列のメモリ１３４に保持される。

具体的には、１行１列目のＲ画素のフォトダイオード１０３ａ、１０３ｂからのデジタル信号（以降Ｄデータとする）はそれぞれメモリ１３４ａ−０１ａ、１３４ａ−０１ｂに保持される。１行２列目のＧｒ画素のフォトダイオード１０３ａ、１０３ｂからのＤデータはメモリ１３４ａ−０２ａ、１３４ａ−０２ｂに保持される。以下同様に１行目の各列の画素からのＤデータが、対応する各列のメモリ１３４に保持される。

同様に２行１列目のＧｂ画素のフォトダイオード１０３ａ、１０３ｂからのＤデータはメモリ１３４ｂ−０１ａ、１３４ｂ−０１ｂに保持される。２行２列目のＢ画素のフォトダイオード１０３ａ、１０３ｂからのＤデータはメモリ１３４ｂ−０２ａ、１３４ｂ−０２ｂに保持される。以下同様に２行目の各列の画素からのＤデータが対応する各列のメモリ１３４に保持される。

メモリ１３４から信号処理部１７へのＤデータの伝送について説明する。各メモリ１３４に保持されたＤデータは、８列ごとのブロックに分けて扱われる。すなわち、１列目から８列目までをブロックＨ１、９列目から１６列目までをブロックＨ２、…とする。各ブロックのＤデータは並列に伝送される。例えば、１行目のブロックＨ１は、メモリ１３４ａ−０１ａからメモリ１３４ａ−０８ｂに保持された１６個のフォトダイオード（８個の画素）から出力されたＤデータを含む。各Ｄデータは１２ビットのデータであるため、合計１９２ビットのＤデータが並列に伝送される。このように並列伝送することにより、高速伝送が可能となる。

信号処理部１７ａでは、入力されたＤデータに基づき映像信号及び測距信号の生成処理が行われる。まず映像信号の処理について説明する。

まず、メモリ１３４ａ−０１ａとメモリ１３４ａ−０１ｂのＤデータを加算することにより、１行１列目のＲ画素のフォトダイオード１０３ａ、１０３ｂからのＤデータを加算した加算Ｄデータを得る。この加算Ｄデータは１行１列目のＲ画素の映像信号として用いられる。

次にメモリ１３４ａ−０２ａとメモリ１３４ａ−０２ｂのＤデータを加算することにより、１行２列目のＧｒ画素のフォトダイオード１０３ａ、１０３ｂからのＤデータを加算した加算Ｄデータを得る。この加算Ｄデータは１行２列目のＧｒ画素の映像信号として用いられる。以下同様の処理により、各列の画素に対応する映像信号が得られる。

この映像信号の処理と並行して、測距信号の処理が行われる。図５は信号処理部１７に設けられた測距信号の処理を行う測距信号処理部１７ＦＳの構成を示す図である。

測距信号処理部１７ＦＳは、メモリ部１７ＭＥ、飽和判定部１７ＳＡＴ、飽和フラグ生成部１７ＦＬ、加算部１７ＡＤ及び信号出力部１７ＤＡを含む。メモリ部１７ＭＥは、メモリ１３４から入力された、フォトダイオード１０３ａに基づくＤデータ（ａ信号）と、フォトダイオード１０３ｂに基づくＤデータ（ｂ信号）とを一時的に保持する。飽和判定部１７ＳＡＴは、Ｄデータに基づいて信号の飽和の有無を判定する判定部である。飽和フラグ生成部１７ＦＬは、加算の対象となる４つのＤデータについて、対応するフォトダイオード１０３ａ、１０３ｂの飽和判定結果の論理和を演算する。加算部１７ＡＤは、４つのフォトダイオード１０３ａ、１０３ｂからのＤデータを加算し、加算Ｄデータを生成する。信号出力部１７ＤＡは、加算Ｄデータにフラグ信号を付加して測距信号処理部１７ＦＳの外部へ出力する出力部である。この信号は撮像装置の出力信号となり、撮像装置が搭載される撮像システム等のシステム処理系において焦点検出等のための測距情報として用いられる。

測距信号処理部１７ＦＳは、行方向に配列された同色のフォトダイオード１０３ａ、１０３ｂからのＤデータを加算して測距信号を生成する。まず、Ｒ画素の測距信号の処理を説明する。

飽和判定部１７ＳＡＴは、メモリ１３４ａ−０１ａ、１３４ａ−０３ａ、１３４ａ−０５ａ、１３４ａ−０７ａからの各Ｄデータが、飽和レベルに達しているか否かを判定する。飽和判定部１７ＳＡＴは、飽和レベルに達していると判定した場合にはＨｉｇｈの信号を、飽和レベルに達していないと判定した場合にはＬｏｗの信号を飽和フラグ生成部１７ＦＬに出力する。信号が飽和レベルに達しているか否かの判定は、入力された信号が事前に設定された所定の飽和閾値よりも大きいか否かを判断することにより行うことができる。

飽和フラグ生成部１７ＦＬは、飽和判定部１７ＳＡＴからの信号に基づき、４つの各Ｄデータの少なくとも１つが飽和閾値よりも大きい場合に、飽和フラグＲ＿ａをＨｉｇｈにして信号出力部１７ＤＡに出力する。すなわち、飽和フラグ生成部１７ＦＬは、飽和判定部１７ＳＡＴからの信号の論理和を飽和フラグＲ＿ａとして出力する。ここで、飽和閾値は、増幅回路１３２の出力の飽和レベル、画素１０１からの出力信号の飽和レベル及びＡＤ変換レンジの飽和レベルのうち最も小さい飽和レベルに基づいて設定することができる。

同様の処理により、飽和判定部１７ＳＡＴは、メモリ１３４ａ−０１ｂ、１３４ａ−０３ｂ、１３４ａ−０５ｂ、１３４ａ−０７ｂからの各Ｄデータを判定し、飽和フラグ生成部１７ＦＬは、飽和フラグＲ＿ｂを信号出力部１７ＤＡに出力する。

上述の飽和フラグＲ＿ａ、Ｒ＿ｂの生成と並行して、加算部１７ＡＤは、メモリ１３４ａ−０１ａ、１３４ａ−０３ａ、１３４ａ−０５ａ、１３４ａ−０７ａからのＤデータを加算して信号出力部１７ＤＡに出力する。これにより、１行１列目のＲ画素、１行３列目のＲ画素、１行５列目のＲ画素及び１行７列目のＲ画素の４つのフォトダイオード１０３ａからのＤ信号が加算された信号が得られる。以上の処理により、１行１列目、１行３列目、１行５列目及び１行７列目の４画素分が加算されたＲ画素のフォトダイオード１０３ａに基づく測距信号が得られる。このように、複数列の画素からの信号を加算して測距信号を生成することにより、撮像装置から出力される測距信号の個数を映像信号の個数よりも少なくすることができ、処理を高速化することができる。

信号出力部１７ＤＡは、４画素分加算されたＲ画素の測距信号の出力とともに、飽和フラグＲ＿ａ、Ｒ＿ｂを出力する。例えば、４画素分加算されたＲ画素の測距信号が１０ビット（ｂｉｔ）であるとすれば、図５に示されるように、出力される信号は、この１０ビットの測距信号に各１ビットの飽和フラグＲ＿ａ、Ｒ＿ｂを付与した１２ビットの信号となる。このようにして、Ｒ画素の測距信号の処理が行われる。

Ｇｒ画素の測距信号の処理も同様に行われる。すなわち、メモリ１３４ａ−０２ａ、１３４ａ−０４ａ、１３４ａ−０６ａ、１３４ａ−０８ａからの各Ｄデータを判定し、飽和フラグ生成部１７ＦＬは、飽和フラグＧＲ＿ａを信号出力部１７ＤＡに出力する。さらに、メモリ１３４ａ−０２ｂ、１３４ａ−０４ｂ、１３４ａ−０６ｂ、１３４ａ−０８ｂからの各Ｄデータを判定し、飽和フラグ生成部１７ＦＬは、飽和フラグＧＲ＿ｂを信号出力部１７ＤＡに出力する。

上述の飽和フラグＲ＿ａの生成と並行して、加算部１７ＡＤは、メモリ１３４ａ−０２ａ、１３４ａ−０４ａ、１３４ａ−０６ａ、１３４ａ−０８ａからのＤデータを加算して信号出力部１７ＤＡに出力する。これにより、１行２列目、１行４列目、１行６列目及び１行８列目の４画素分が加算されたＧｒ画素の測距信号が得られる。信号出力部１７ＤＡは、４画素分加算されたＧｒ画素の測距信号の出力とともに、飽和フラグＧｒ＿ａ、Ｇｒ＿ｂを出力する。

例えば、４画素分加算されたＧｒ画素の測距信号が１０ビットであるとすれば、図５に示されるように、出力される信号は、この１０ビットの測距信号に各１ビットの飽和フラグＧｒ＿ａ、Ｇｒ＿ｂを付与した１２ビットの信号となる。このようにして、Ｇｒ画素の測距信号の処理が行われる。

信号処理部１７ｂでも同様な処理が行われ、２行１列目のＧｂ画素の映像信号、２行２列目のＢ画素の映像信号、２行３列目のＧｂ画素の映像信号、２行４列目のＢ画素の映像信号、…を出力する。

それとともに、４画素分加算されたＧｂ画素の測距信号に飽和フラグＧｂ＿ａ及び飽和フラグＧｂ＿ｂが付与された信号と、４画素分加算されたＢ画素の測距信号に飽和フラグＢ＿ａ及び飽和フラグＢ＿ｂが付与された信号とが出力される。

上述のように、撮像装置からの出力信号は、各画素１０１からの映像信号（フォトダイオード１０３ａ、１０３ｂからの信号を加算した信号）と、４画素分加算された測距信号（フォトダイオード１０３ａからの信号）の２種である。すなわち、フォトダイオード１０３ｂからの信号自体は出力されない。なぜなら、フォトダイオード１０３ａ、１０３ｂからの信号を加算した信号と、フォトダイオード１０３ａからの信号が出力されているので、その差分により、フォトダイオード１０３ｂからの信号を演算で求めることができるためである。

この演算は例えば以下のように行うことができる。フォトダイオード１０３ａ、１０３ｂからのＤデータを加算した信号を４画素分加算する。次に、その値から４画素分加算されたフォトダイオード１０３ａからのＤデータを減算する。この処理により、４画素加算されたフォトダイオード１０３ｂからのＤデータを求めることができる。

このように、フォトダイオード１０３ｂからのＤデータは出力されない。しかしながら、上述の説明のようにフォトダイオード１０３ｂの飽和判定を行い、フォトダイオード１０３ｂの飽和フラグを出力することがより好適である。その理由は、以下のとおりである。

フォトダイオード１０３ａから出力される信号レベルがフォトダイオード１０３ｂから出力される信号レベルよりも非常に小さい場合を考える。例えば、フォトダイオード１０３ａの信号レベルが８０であり、フォトダイオード１０３ｂの信号レベルが３５０であり、ＡＤ変換における回路飽和レベルが２５６であるものとする。

このとき、フォトダイオード１０３ａからの信号をＡＤ変換した値は８０になり、フォトダイオード１０３ｂからの信号をＡＤ変換した値は２５６となり、これらの合計値は３３６となる。

各画素のフォトダイオード１０３ａに対応する信号と、各画素のフォトダイオード１０３ａ、１０３ｂの加算信号とをいずれも画素間で加算せずに個別に出力している場合、すなわち、測距信号と映像信号がいずれも画素間で加算されていない場合を考える。この場合は、後段でこれらの差分を計算すれば、フォトダイオード１０３ｂに対応する信号のレベルが２５６であることが算出でき、この値に基づき回路飽和が生じているか否かを判定できる。

しかしながら、本実施形態では、フォトダイオード１０３ａの信号は４画素分加算されているため、各画素のフォトダイオード１０３ａの信号レベルを後段で個別に算出することができない。そのため、上述の差分を行ったとしても各画素のフォトダイオード１０３ｂについて回路飽和が生じているか否かを判別するということができない場合がある。

さらに、フォトダイオード１０３ａ、１０３ｂの加算信号、４画素加算されたフォトダイオード１０３ａの出力信号及びこれに対応する飽和フラグのいずれを参照しても、フォトダイオード１０３ｂの信号が飽和しているか否かが判定できない場合もある。そのため、フォトダイオード１０３ｂの信号の飽和を判定するために、フォトダイオード１０３ｂの飽和レベルに達しているか否かを示す飽和フラグを出力することが好ましい。

以上のように、本実施形態では撮像装置が測距信号を加算して出力する場合に、出力信号に飽和フラグを含ませている。これにより、加算後の出力信号に飽和レベルに達した信号が含まれているか否かを外部のシステム処理系に伝えることが可能となる。

これにより、飽和により誤った値となった加算Ｄデータにより、システム処理系が誤った測距情報を得ることによる誤認識が生じるおそれを低減することができる。システム処理系は、飽和フラグが信号の飽和を示す測距信号を焦点検出のための測距動作に用いないようにする。この場合には、システム処理系は、飽和フラグが信号の飽和を示す測距信号に代えて隣接する画素の信号からの補間で得た信号を用いても良い。あるいは、システム処理系は、当該測距信号がないものとして処理しても良い。

なお、上述の説明では、飽和フラグＲ＿ａ、Ｒ＿ｂ、Ｇｒ＿ａ、Ｇｒ＿ｂをそれぞれ個別に出力しているため、これらは合計４ビットのデータとなっている。しかしながら、飽和フラグＲ＿ａ、Ｒ＿ｂ、Ｇｒ＿ａ、Ｇｒ＿ｂの一部又は全部の論理和を算出して３ビット以下に圧縮してもよく、例えば１ビットに圧縮して出力してもよい。飽和フラグを圧縮してビット数を低減することにより、Ｄデータの伝送負荷を低減できる。

また、上述の説明では、信号出力部１７ＤＡが、加算した測距信号に飽和フラグを付加して出力する例が示されているが、映像信号に飽和フラグを付加して出力してもよい。

さらに、上述の説明では、１つの画素１０１に２つの光電変換部を有する構成を例示して説明しているが、１つの画素１０１が２より多い複数の光電変換部を有する構成であってもよい。具体的には以下のとおりである。

画素部１０に含まれる複数の画素１０１が有する光電変換部の個数をｍ個（ｍは２以上の整数）とする。このとき、測距信号（第１の信号）はｍ個よりも少ないｎ個（ｎは整数）の光電変換部の信号電荷に基づいて生成することができる。このとき、上述の測距信号とともに用いられるもう一つの測距信号（第３の信号）は、上述のｍ個の光電変換部から上述のｎ個の光電変換部を除いた（ｍ−ｎ）個の光電変換部の信号電荷に基づくものとなる。本実施形態のフォトダイオード１０３ａ、１０３ｂからなる２個の光電変換部を有する構成はｍ＝２、ｎ＝１とした場合の例であるが、ｍ、ｎがこれ以外の値であってもよく、同様の効果が得られる。

また、上述の説明では、メモリ１３４からは８画素からのＤデータを並行的に伝送する構成を例示しているが、この画素数は８画素より少なくても多くてもよい。さらに測距信号は４画素からのＤデータの加算により生成される構成を例示しているが、この画素数も４画素より少なくても多くてもよい。

また、複数の画素１０１のフォトダイオード１０３ａからの信号同士の加算処理及びフォトダイオード１０３ａの信号レベルが飽和レベルに達しているか否かの判定処理は、撮像装置の外部に設けられたシステム処理系が行うようにしてもよい。すなわち、信号処理部１７ａ、１７ｂの一部又は全部の機能は、撮像装置ではなく、システム処理系に設けられていてもよい。

なお、測距信号は、画素部１０のすべての画素１０１から出力させる必要はなく、測距に必要な個数だけあればよい。すなわち、測距信号の個数は映像信号（第２の信号）の個数よりも少なくてもよい。例えば、測距信号は、画素部１０の一部の領域のみから出力させ、映像信号は画素部１０の全領域から出力させるようにしてもよい。このようにすることで、信号処理を高速化することができる。

（第２の実施形態）
図４及び図６を用いて、第２の実施形態に係る撮像装置における出力信号の処理を説明する。第２の実施形態に係る撮像装置の構成は測距信号処理部１７ＦＳを除き第１の実施形態と同様であるため、重複する説明は省略又は簡略化する。

第２の実施形態において、測距信号処理部１７ＦＳは、第１の実施形態とは異なり、隣接した画素、すなわち異なる色のカラーフィルタを有するフォトダイオードからのＤデータ同士の加算を行う。

飽和判定部１７ＳＡＴは、メモリ１３４ａ−０１ａ、１３４ａ−０１ｂ、１３４ａ−０３ａ、１３４ａ−０３ｂからの各Ｒ画素に対応するＤデータが、飽和レベルに達しているか否かを判定する。飽和判定部１７ＳＡＴは、飽和レベルに達していると判定した場合にはＨｉｇｈの信号を、飽和レベルに達していないと判定した場合にはＬｏｗの信号を飽和フラグ生成部１７ＦＬに出力する。飽和フラグ生成部１７ＦＬは、飽和判定部１７ＳＡＴからの信号に基づき、４つの各Ｄデータの少なくとも１つが飽和閾値よりも大きい場合に、飽和フラグＲをＨｉｇｈにして信号出力部１７ＤＡに出力する。

さらに、飽和判定部１７ＳＡＴは、メモリ１３４ａ−０２ａ、１３４ａ−０２ｂ、１３４ａ−０４ａ、１３４ａ−０４ｂからの各Ｇｒ画素のＤデータが、飽和レベルに達しているか否かを判定する。飽和判定部１７ＳＡＴは、飽和レベルに達していると判定した場合にはＨｉｇｈの信号を、飽和レベルに達していないと判定した場合にはＬｏｗの信号を飽和フラグ生成部１７ＦＬに出力する。飽和フラグ生成部１７ＦＬは、飽和判定部１７ＳＡＴからの信号に基づき、４つの各Ｄデータの少なくとも１つが飽和閾値よりも大きい場合に、飽和フラグＧｒをＨｉｇｈにして信号出力部１７ＤＡに出力する。

加算部１７ＡＤは、メモリ１３４ａ−０１ａ、１３４ａ−０２ａ、１３４ａ−０３ａ、１３４ａ−０４ａからのＤ信号を加算して信号出力部１７ＤＡに出力する。これにより、１行１列目〜１行４列目の４つのフォトダイオード１０３ａの信号を加算した出力が得られる。この信号は、測距信号として用いられる。

信号出力部１７ＤＡは、４画素分加算された測距信号の出力とともに、飽和フラグＲと飽和フラグＧｒを出力する。

例えば、４画素分加算された測距信号が１０ビットであるとすれば、図６に示されるように、出力される信号は、この１０ビットの測距信号に各１ビットの飽和フラグＲ、Ｇｒを付与した１２ビットの信号となる。このようにして、測距信号の処理が行われる。

例えば、４画素分加算されたＲ画素の測距信号が１０ビット（ｂｉｔ）であるとすれば、図５に示されるように、出力される信号は、この１０ビットの測距信号に各１ビットの飽和フラグＲ、Ｇｒを付与した１２ビットの信号となる。このようにして、Ｒ画素の測距信号の処理が行われる。

信号処理部１７ｂにおいて同様な処理が行われ、２行１列目〜２行４列目の４画素分加算された測距信号に飽和フラグＧｂ、Ｂが付与された信号が出力される。

以上のように、第２実施形態では、第１実施形態と同様に測距信号に飽和フラグを付与した信号の出力が可能であり、同様の効果が得られる。これとともに、測距信号の空間的サンプリング位相の解像度が高いので、測距精度が向上し得る。なお、上述の説明では、飽和フラグＲと飽和フラグＧｒをそれぞれ個別に出力しているが、飽和フラグＲと飽和フラグＧｒの論理和を算出することで、１ビットに圧縮して出力してもよい。飽和フラグを圧縮してビット数を低減することにより、Ｄデータの伝送負荷を低減できる。

（第３の実施形態）
図７から図９を参照して第３の実施形態を説明する。本実施形態は、画素から出力された信号をデジタル信号に変換せず、アナログ信号のまま出力する回路構成を有する撮像装置に関するものである。

図７は、第３の実施形態における撮像装置の構成を示す図である。本実施形態の撮像装置は第１及び第２の実施形態のように列ごとにＡＤ変換を行う回路を有していないため、コンパレータ１３３及びメモリ１３４が設けられていない。一方、本実施形態の撮像装置には、加算スイッチ１３５（加算部）及び飽和判定部１３６が列ごとに設けられている。以下、本実施形態の撮像装置の構成について第１及び第２の実施形態と異なる部分を中心に説明する。

加算スイッチ１３５は、隣接する列の増幅回路１３２同士の間に設けられている。すなわち、例えば、１列目の増幅回路１３２ａ−０１と２列目の増幅回路１３２ａ−０２の間には、加算スイッチ１３５ａ−０１が設けられている。加算スイッチ１３５がオンになると、隣接する列の間の信号が加算される。

増幅回路１３２には、飽和判定部１３６が接続されている。飽和判定部１３６は、増幅回路１３２で増幅された信号の飽和を判定し、判定結果を示す飽和フラグを出力する。水平走査回路１６ａは、各列の増幅回路１３２からの出力信号と飽和判定部１３６からの飽和フラグとを順次出力アンプ１８ａに出力させる。水平走査回路１６ｂは、各列の増幅回路１３２からの出力信号と飽和判定部１３６からの飽和フラグとを順次出力アンプ１８ｂに出力させる。

図８は、増幅回路１３２内部の回路、加算スイッチ１３５及び飽和判定部１３６をより詳細に示す図である。図８では、各列の増幅回路１３２、加算スイッチ１３５及び飽和判定部１３６のうち、読み出し回路１３ａ側の１列目から４列目までを抜き出して例示している。

増幅回路１３２は、増幅器１４１、スイッチ１４２、サンプルホールド容量１４３を含む。画素１０１からの信号は増幅回路１３２の入力端子に入力される。この入力端子を増幅回路１３２の入力端子ＩＮ０１、ＩＮ０２、…とする。増幅回路１３２の出力端子は飽和判定部１３６及びスイッチ１４２の一端に接続される。スイッチ１４２の他端はサンプルホールド容量１４３の一端及び加算スイッチ１３５の一端に接続される。この接続ノードは、増幅回路１３２の出力端子ＯＵＴ１、ＯＵＴ２、…である。加算スイッチ１３５の他端は、隣接する列の出力端子ＯＵＴ１、ＯＵＴ２、…のノードに接続される。サンプルホールド容量１４３の他端は接地される。飽和判定部１３６から飽和フラグを出力する端子は出力端子Ｊ０１、Ｊ０２、…とする。

スイッチ１４２及びサンプルホールド容量１４３はサンプルホールド回路として動作する。スイッチ１４２を制御する制御信号ａｍｐ＿ｓｈがＨｉｇｈになると、スイッチ１４２がオンになり、増幅器１４１の出力電圧がサンプルホールド容量１４３にサンプリングされる。制御信号ａｍｐ＿ｓｈがＬｏｗになるとスイッチ１４２がオフになり、増幅器１４１の出力電圧がサンプルホールド容量１４３にホールドされる。

加算を行わず、列ごとに独立に信号を出力する場合には、すべての加算スイッチ（１３５ａ−０１、１３５ａ−０２、１３５ａ−０３、１３５ａ−０４、…）をオフ状態にする。これにより、ＩＮ０１、ＩＮ０２、…に入力された信号に応じた電圧がＯＵＴ０１、ＯＵＴ０２、…にそれぞれ現れる。

４列分の信号を加算平均して出力する場合には、制御信号ａｍｐ＿ｓｈがＬｏｗになり出力がホールドされている状態で、加算スイッチ１３５ａ−０１、１３５ａ−０２、１３５ａ−０３をオン状態にし、１３５−０４をオフ状態にする。このようにすることで、ＯＵＴ１端子、ＯＵＴ２端子、ＯＵＴ３端子、ＯＵＴ４端子の出力電圧が加算平均される。この場合、飽和判定部１３６は、加算平均する前の信号に対して、増幅回路１３２の出力が飽和レベルに達しているか否かを判定することができる。

水平走査回路１６ａは、各列のサンプルホールド容量１４３と、飽和判定部１３６の出力信号を順次走査して、出力アンプ１８ａへ伝送する。

図９（ａ）は、本実施形態に係る画素１０１内部の等価回路を示す図である。本実施形態の画素１０１が第１の実施形態の画素１０１と異なる点は、画素回路１１０が１つのみである点である。画素回路１１０は、転送トランジスタ１０４ａ、１０４ｂの２つの転送トランジスタを含む。フォトダイオード１０３ａ、１０３ｂは、それぞれ転送トランジスタ１０４ａ、１０４ｂを介して同一の出力トランジスタ１０６のゲートに接続されている。転送トランジスタ１０４ａ、１０４ｂは、それぞれ垂直走査回路１１から独立に送信される制御信号Ｔｘ＿ａ、Ｔｘ＿ｂにより制御される。その他の点は第１の実施形態と同様であるため説明を省略する。

図９（ｂ）は、画素回路１１０の駆動方法を示す一画素行の駆動タイミングチャートである。図２（ｂ）に示した第１の実施形態と異なる動作について説明する。

時刻Ｔ２までの動作は第１の実施形態とほぼ同様である。時刻Ｔ７において、制御信号Ｔｘ＿ａがＨｉｇｈになり、転送トランジスタ１０４ａがオンになる。この動作により、フォトダイオード１０３ａに蓄積された信号電荷が出力トランジスタ１０６ａのゲートに転送される。その後、時刻Ｔ８において、制御信号Ｔｘ＿ａがＬｏｗになり、転送トランジスタ１０４ａがオフになる。この動作が終了した時刻Ｔａにおいて、フォトダイオード１０３ａで生成された信号電荷量に応じた電圧振幅が垂直出力線１０２に現れる。

続いて時刻Ｔ９において、制御信号Ｔｘ＿ｂがＨｉｇｈになり、転送トランジスタ１０４ｂがオンになる。この動作により、フォトダイオード１０３ｂに蓄積された信号電荷も出力トランジスタ１０６ｂのゲートに転送される。その後、時刻Ｔ１０において、制御信号Ｔｘ＿ｂがＬｏｗになり、転送トランジスタ１０４ｂがオフになる。この動作が終了した時刻（Ｔａ＋ｂ）において、フォトダイオード１０３ａで生成された信号電荷量とフォトダイオード１０３ｂで生成された信号電荷量との和に応じた電圧振幅が垂直出力線１０２に現れる。その後の時刻Ｔ５、Ｔ６の動作は第１の実施形態とほぼ同様である。

図１０（ａ）は本実施形態に係る画素１０１の上面模式図である。本実施形態の画素１０１は画素回路１１０が２つのフォトダイオード１０３ａ、１０３ｂに対して共通に設けられている点で第１の実施形態と異なる。

このような画素の構造とすることで、時刻Ｔａにおいて垂直出力線１０２の信号を読み出すことで、フォトダイオード１０３ａ単独の信号を読み出すことができる。この信号は測距信号として使用することができる。また、時刻（Ｔａ＋ｂ）において垂直出力線１０２の信号を読み出すことで、受光部全体の信号を読み出すことができる。この信号は映像信号として使用することができる。

図１０（ｂ）は、図１０（ａ）でα−β線で示した部分の断面図である。α−β線の部分の断面構造は図３（ａ）と同様であるため説明を省略する。

第３の実施形態では、測距信号を増幅回路１３２の出力端子部分で加算して加算信号を出力するとともに、飽和フラグを出力する。この構成により、本実施形態では、第１及び第２の実施形態とは異なり、加算及び飽和の判定がデジタル信号ではなくアナログ信号の状態で行われる。撮像装置外部のシステム処理系は、この飽和フラグを参照して加算信号に飽和レベルに達した信号が含まれているか否かを判断することができる。したがって、第１の実施形態と同様の効果が得られる。これに加え、本実施形態では読み出し回路１３ａ、１３ｂで加算して得た加算信号を出力するため、信号の個数が少なくすることができ、伝送時間を短縮できる。これにより、処理をより高速化することができる。

（第４の実施形態）
図１１は、第４の実施形態に係る撮像装置の構成を示す図である。本実施形態における画素１０１の構成は、第３の実施形態として説明した図９（ａ）、図１０に示されている構成と同様である。また、本実施形態の撮像装置のその他の要素の構成はメモリを除き第１の実施形態と同様である。本実施形態では第１の実施形態のメモリ１３４に代えて、測距信号メモリ１３４１及び映像信号メモリ１３４２が設けられている。

測距信号メモリ１３４１及び映像信号メモリ１３４２の動作について説明する。図９（ｂ）における時刻Ｔａのタイミングで、コンパレータ１３３においてフォトダイオード１０３ａからの信号のＡＤ変換が行われる（以降、ａ変換と表記する）。このａ変換により生成されたデジタル信号（ａ信号）は、測距信号メモリ１３４１に保持される。

続いて、図９（ｂ）における時刻（Ｔａ＋ｂ）のタイミングで、コンパレータ１３３において、フォトダイオード１０３ａ及びフォトダイオード１０３ｂからの信号の和に相当する信号のＡＤ変換が行われる（以降、ａ＋ｂ変換と表記する）。このａ＋ｂ変換により生成されたデジタル信号（ａ＋ｂ信号）は、映像信号メモリ１３４２に保持される。

すなわち、本実施形態では、画素１０１が測距信号と映像信号を出力可能な構成となっていることに対応して、測距信号と映像信号を別々に保持できるように測距信号メモリ１３４１及び映像信号メモリ１３４２が設けられている。

次に、図１２と図１３を参照しつつ、本実施形態における出力信号の処理を第１乃至第３の実施形態と異なる部分を中心に説明する。信号処理部１７ａでは、入力されたＤデータに基づき映像信号及び測距信号の生成処理が行われる。まず映像信号の処理について説明する。

まず、映像信号メモリ１３４２ａ−０１のデータから、１行１列目のＲ画素のフォトダイオード１０３ａ、１０３ｂからの信号の和に相当するＤデータを得る。このＤデータは１行１列目のＲ画素の映像信号として用いられる。

次に映像信号メモリ１３４２ａ−０２のデータから、１行２列目のＧｒ画素のフォトダイオード１０３ａ、１０３ｂからの信号の和に相当するＤデータを得る。このＤデータは１行２列目のＧｒ画素の映像信号として用いられる。以下同様の処理により、各列の画素に対応する映像信号が得られる。

この映像信号の処理と並行して、測距信号の処理が行われる。図１３は信号処理部１７に設けられた測距信号の処理を行う測距信号処理部１７ＦＳの構成を示す図である。

飽和判定部１７ＳＡＴは、測距信号メモリ１３４１ａ−０１、１３４１ａ−０２、１３４１ａ−０３、１３４１ａ−０４からの各Ｄデータが、飽和レベルに達しているか否かを判定する。飽和判定部１７ＳＡＴは、飽和レベルに達していると判定した場合にはＨｉｇｈの信号を、飽和レベルに達していないと判定した場合にはＬｏｗの信号を飽和フラグ生成部１７ＦＬに出力する。

飽和フラグ生成部１７ＦＬは、飽和判定部１７ＳＡＴからの信号に基づき、４つの各Ｄデータの少なくとも１つが飽和閾値よりも大きい場合に、飽和フラグＡをＨｉｇｈにして信号出力部１７ＤＡに出力する。すなわち、飽和フラグ生成部１７ＦＬは、飽和判定部１７ＳＡＴからの信号の論理和を飽和フラグＡとして出力する。

飽和判定部１７ＳＡＴは、さらに、映像信号メモリ１３４２ａ−０１からのＤデータと、測距信号メモリ１３４１ａ−０１からのＤデータとの差分に相当する信号（ｂ信号）を生成する。飽和判定部１７ＳＡＴは、差分に相当する信号に対し信号飽和レベルに達しているか否かを判定する。映像信号メモリ１３４２ａ−０２からのＤデータと、測距信号メモリ１３４１ａ−０２からのＤデータとの差分についても同様に判定が行われる。さらに、映像信号メモリ１３４２ａ−０３からのＤデータと、測距信号メモリ１３４１ａ−０３からのＤデータとの差分、映像信号メモリ１３４２ａ−０４からのＤデータと、測距信号メモリ１３４１ａ−０４からのＤデータとの差分についても判定が行われる。以上のようにして４つの差分が演算される。

飽和フラグ生成部１７ＦＬは、飽和判定部１７ＳＡＴからの信号に基づき、これらの４つの差分の少なくとも１つが飽和閾値よりも大きい場合に、飽和フラグＢをＨｉｇｈにして信号出力部１７ＤＡに出力する。

上述の飽和フラグＡ、Ｂの生成と並行して、加算部１７ＡＤは、測距信号メモリ１３４１ａ−０１、１３４１ａ−０２、１３４１ａ−０３、１３４１ａ−０４からのＤデータを加算して信号出力部１７ＤＡに出力する。これにより、１行１列目〜１行４列目の４つのフォトダイオード１０３ａの信号を加算した出力が得られる。この信号は、測距信号として用いられる。

信号出力部１７ＤＡは、４画素分加算された測距信号の出力とともに、飽和フラグＡと飽和フラグＢを出力する。例えば、４画素分加算された測距信号が１０ビットであるとすれば、図１３に示されるように、出力される信号は、この１０ビットの測距信号に各１ビットの飽和フラグＡ、Ｂを付与した１２ビットの信号となる。このようにして、測距信号の処理が行われる。信号処理部１７ｂにおいて同様な処理が行われ、２行１列目〜２行４列目の４画素分加算された測距信号に飽和フラグＧｂ、Ｂが付与された信号が出力される。

本実施形態においても、第１の実施形態と同様の効果を得ることができる。なお、上述の説明では、飽和フラグＡと飽和フラグＢをそれぞれ個別に出力しているが、飽和フラグＡと飽和フラグＢの論理和を算出することで、１ビットに圧縮して出力してもよい。飽和フラグを圧縮してビット数を低減することにより、Ｄデータの伝送負荷を低減できる。

（第５の実施形態）
本実施形態は、第１乃至第４の実施形態で述べた撮像装置を適用した撮像システムに関する。

撮像システムの一例として、デジタルスチルカメラ、デジタルカムコーダー、監視カメラなどがあげられる。図１４に、撮像システムの例としてデジタルスチルカメラに撮像装置を適用した場合の模式図を示す。

図１４に例示した撮像システムは、レンズの保護のためのバリア１５１、被写体の光学像を撮像装置１５４に結像させるレンズ１５２、レンズ１５２を通過する光量を可変にするための絞り１５３を有する。レンズ１５２、絞り１５３は撮像装置１５４に光を集光する光学系である。また、図１４に例示した撮像システムは、撮像装置１５４より出力される出力信号の処理を行う出力信号処理部１５５を有する。出力信号処理部１５５は必要に応じて各種の補正、圧縮を行って信号を出力する動作を行う。

図１４に例示した撮像システムはさらに、画像データを一時的に記憶するためのバッファメモリ部１５６、外部コンピュータ等と通信するための外部インターフェース部１５７を有する。さらに撮像システムは、撮像データの記録又は読み出しを行うための半導体メモリ等の着脱可能な記録媒体１５９、記録媒体１５９に記録又は読み出しを行うための記録媒体制御インターフェース部１５８を有する。さらに撮像システムは、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部１５１０、撮像装置１５４と出力信号処理部１５５に各種タイミング信号を出力するタイミング発生部１５１１を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システムは少なくとも撮像装置１５４と、撮像装置１５４から出力された出力信号を処理する出力信号処理部１５５とを有すればよい。

出力信号処理部１５５は、第１乃至第４の実施形態で述べたシステム処理系とすることができる。すなわち、出力信号処理部１５５は、デジタルＡ＋Ｂ信号（２つのフォトダイオード１０３ａ、１０３ｂからの信号の和に相当する信号）からデジタルＡ信号（フォトダイオード１０３ａからの信号）を差し引く。これにより、デジタルＢ信号（フォトダイオード１０３ｂからの信号）が生成される。そして、出力信号処理部１５５は、デジタルＡ信号とデジタルＢ信号とを用いて、位相差検出方式の焦点検出を行う。また、出力信号処理部１５５はデジタルＡ＋Ｂ信号を用いて画像の形成を行う。なお、第１乃至第４の実施形態で述べた読み出し回路１３ａ、１３ｂで行われる処理の一部又は全部を出力信号処理部１５５で行うように構成してもよい。

以上のように、本実施形態の撮像システムは、撮像装置１５４を適用して焦点検出動作及び撮像動作を行うことが可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、これまで述べた各実施形態を種々組み合わせて実施することができる。

１０ 画素部
１０１ 画素
１０３ フォトダイオード（光電変換部）
１７ＦＬ 飽和フラグ生成部
１７ＳＡＴ 飽和判定部
１７ＡＤ 加算部
１７ＤＡ 出力部

Claims (13)

1. 行列状に配された複数の画素と複数のマイクロレンズとを有する画素部であって、
   前記複数のマイクロレンズの各々は、前記複数の画素のうちの互いに異なる１つの画素と対応して配されており、
   前記複数の画素の各々が、信号電荷を生成するｍ個（ｍは２以上の整数）の光電変換部を含むとともに、前記信号電荷に基づいた信号を出力し、
   前記複数の画素の少なくとも一部の前記画素の各々が、前記ｍ個の光電変換部のうち、前記ｍ個よりも少ないｎ個（ｎは整数）の前記光電変換部の前記信号電荷に基づいた第１の信号を出力する
   画素部と、
   互いに異なる複数の前記画素から出力された複数の前記第１の信号同士を加算する加算部と、
   前記複数の第１の信号の各々と所定の閾値との比較によって複数の判定結果を生成し、前記複数の判定結果を用いて、前記加算部により加算される前記複数の第１の信号が前記所定の閾値より大きい信号を含むか否かを示すフラグ信号を生成する判定部と、
   前記フラグ信号及び前記加算部で前記複数の第１の信号同士を加算して得られた信号を出力する出力部と
   を有することを特徴とする撮像装置。
2. 前記出力部から出力される、前記第１の信号に基づく信号の個数が、
   前記出力部から出力される、前記ｍ個の光電変換部の前記信号電荷に基づいた第２の信号に基づく信号の個数よりも少ない
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記所定の閾値は、信号の飽和レベルに相当する値に設定されることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記判定部は、前記ｍ個の光電変換部のうち、前記ｎ個の光電変換部を除いた（ｍ−ｎ）個の前記光電変換部の前記信号電荷に基づいた第３の信号について、前記加算が行われる前記複数の第１の信号を出力する複数の画素に対応する複数の前記第３の信号が、所定の閾値より大きい信号を含むか否かをさらに判定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記出力部は、前記複数の判定結果と、前記複数の第３の信号が所定の閾値より大きい信号を含むか否かを判定した判定結果との論理和を算出することにより圧縮したフラグ信号を出力することを特徴とする請求項４に記載の撮像装置。
6. アナログ信号をデジタル信号に変換して出力する複数のアナログデジタル変換回路をさらに有し、
   前記複数の画素の少なくとも一部の前記画素の各々は、
   前記ｎ個の光電変換部の前記信号電荷に基づいた前記第１の信号をアナログ信号として出力し、
   前記ｍ個の光電変換部のうち、前記ｎ個の光電変換部を除いた（ｍ−ｎ）個の前記光電変換部の前記信号電荷に基づいた第３の信号をアナログ信号として出力し、
   前記複数のアナログデジタル変換回路の各々は、
   前記第１の信号を前記第１の信号に基づくデジタル信号に変換し、
   前記第３の信号を前記第３の信号に基づくデジタル信号に変換し、
   前記加算部は、
   前記複数の画素のうちの第１の画素の前記第１の信号に基づくデジタル信号と、前記第１の画素の前記第３の信号に基づくデジタル信号とを加算し、
   前記第１の画素の前記第１の信号に基づくデジタル信号と、前記複数の画素のうちの前記第１の画素とは異なる第２の画素の前記第１の信号に基づくデジタル信号とを加算する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記複数の画素の少なくとも一部の前記画素の各々は、
   前記ｎ個の光電変換部の前記信号電荷に基づいた前記第１の信号をアナログ信号として出力し、
   前記加算部は、前記複数の画素のうちの第１の画素の前記第１の信号と、前記複数の画素のうちの前記第１の画素とは異なる第２の画素の前記第１の信号とをアナログ信号の状態で加算し、
   前記判定部は前記加算部により加算される複数の前記第１の信号をアナログ信号の状態で判定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. アナログ信号をデジタル信号に変換して出力する複数のアナログデジタル変換回路をさらに有し、
   前記複数の画素の少なくとも一部の前記画素の各々は、
   前記ｎ個の光電変換部の前記信号電荷に基づいた前記第１の信号をアナログ信号として出力し、
   前記ｍ個の光電変換部の前記信号電荷に基づいた第２の信号をアナログ信号として出力し、
   前記複数のアナログデジタル変換回路の各々は、
   前記第１の信号を前記第１の信号に基づくデジタル信号に変換し、
   前記第２の信号を前記第２の信号に基づくデジタル信号に変換し、
   前記加算部は、
   前記複数の画素のうちの第１の画素の前記第１の信号に基づくデジタル信号と、前記複数の画素のうちの前記第１の画素とは異なる第２の画素の前記第１の信号に基づくデジタル信号とを加算し、
   前記判定部は、
   前記第１の画素の前記第２の信号に基づくデジタル信号から、前記第１の画素の前記第１の信号に基づくデジタル信号を減算することにより、前記ｍ個の光電変換部のうち、前記ｎ個の光電変換部を除いた（ｍ−ｎ）個の前記光電変換部の前記信号電荷に基づいた第３の信号を生成し、
   前記加算が行われる前記複数の第１の信号を出力する複数の画素に対応する複数の前記第３の信号が、所定の閾値より大きい信号を含むか否かをさらに判定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
9. 前記第１の画素と前記第２の画素とは隣接する画素であることを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
10. 前記フラグ信号は、前記複数の第１の信号の各々と前記所定の閾値とを比較して得られた複数の判定値同士の論理和を演算することにより生成されることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 請求項１乃至１０のいずれか１項に記載の撮像装置と、
    前記撮像装置から前記判定部による判定結果及び前記加算部で前記複数の第１の信号同士を加算して得られた測距信号が入力され、前記測距信号を用いて焦点検出を行う信号処理部と
    を有し、
    前記信号処理部は、前記測距信号のうち、前記複数の第１の信号が所定の閾値より大きい信号を含むことを示す前記フラグ信号に対応する前記測距信号を用いずに前記焦点検出を行う
    ことを特徴とする撮像システム。
12. 行列状に配された複数の画素と複数のマイクロレンズとを有する画素部であって、
    前記複数のマイクロレンズの各々は、前記複数の画素のうちの互いに異なる１つの画素と対応して配されており、
    前記複数の画素の各々が、信号電荷を生成するｍ個（ｍは２以上の整数）の光電変換部を含むとともに、前記信号電荷に基づいた信号を出力し、
    前記複数の画素の少なくとも一部の前記画素の各々が、前記ｍ個の光電変換部のうち、前記ｍ個よりも少ないｎ個（ｎは整数）の前記光電変換部の前記信号電荷に基づいた第１の信号を出力する
    画素部を有する撮像装置と、
    前記撮像装置が出力する信号を処理する信号処理部であって、
    互いに異なる複数の前記画素から出力された複数の前記第１の信号同士を加算する加算部と、
    前記複数の第１の信号の各々と所定の閾値との比較によって複数の判定結果を生成し、前記複数の判定結果を用いて、前記加算部により加算される前記複数の第１の信号が前記所定の閾値より大きい信号を含むか否かを示すフラグ信号を生成する判定部と、
    前記フラグ信号及び前記加算部で前記複数の第１の信号同士を加算して得られた信号を出力する出力部と
    を有する信号処理部と
    を有することを特徴とする撮像システム。
13. 前記信号処理部は、
    前記第１の信号同士を加算して得られた測距信号を用いて焦点検出を行い、
    前記測距信号のうち、前記複数の第１の信号が所定の閾値より大きい信号を含むことを示す前記フラグ信号に対応する前記測距信号を用いずに前記焦点検出を行う
    ことを特徴とする請求項１２に記載の撮像システム。

Images