JP7114396B2 - 撮像装置、撮像システム、移動体 - Google Patents

Description

本発明は、撮像装置、撮像システム、移動体に関する。

従来、フォトンカウンティングを用いた撮像装置が知られている。

例えば、特許文献１の図４には、複数の検出素子と、それぞれが複数の検出素子の対応する１つに接続された複数のカウンタと、複数のカウンタに接続された加算器と、を備える撮像装置が開示されている。加算器は、各カウンタから出力されるカウント値を加算している。

特開２０１４－０８３３６１号公報

特許文献１では、カウンタのカウント値が上限に達した後の処理について検討されていない。例えば、２つのカウンタのカウント値を加算して出力する場合に、一方のカウンタのカウント値は上限に達しており、他方のカウンタのカウント値は上限よりも低い場合がある。カウント値が上限に達した後にカウンタが検出素子からの信号を受けると、カウンタから出力されるカウント値が変化しない、あるいは、カウント値が初期値にループすることがある。このようなカウント値が加算器に入力されると、加算器が出力する信号が検出素子への光子の入射を正しく計測したものではなくなる可能性がある。つまり、各カウンタのカウント値を加算すると入出力特性のリニアリティが低下する可能性がある。

なお、カウント値が飽和するか否かの閾値としてカウンタのカウント値の上限を例に挙げたが、他にも、カウンタのカウント値の上限よりも低い値をカウント値が飽和するか否かの閾値として設定してもよい。この場合でも、上述のようなリニアリティが低下する課題が生じうる。

一形態に係る撮像装置は、第１の光電変換素子と、第２の光電変換素子と、前記第１の光電変換素子からの信号に応じてカウント値を変化させるカウント動作を行う第１のカウンタと、前記第２の光電変換素子からの信号に応じてカウント値を変化させるカウント動作を行う第２のカウンタと、前記第１の光電変換素子での電荷の発生量に応じて前記第１の光電変換素子をリセットする第１のリセット部と、前記第２の光電変換素子での電荷の発生量に応じて前記第２の光電変換素子をリセットする第２のリセット部と、前記第１のカウンタのカウント値及び前記第２のカウンタのカウント値が入力される加算器と、前記第１のカウンタのカウント値が閾値を超えたことを検知する検知手段と、第１の出力部と、第２の出力部と、を備え、前記第１のカウンタのカウント値が前記閾値を超えたことを前記検知手段が検知するかどうかに応じて、前記第１の出力部は、前記第１のカウンタのカウント値又は前記第１のカウンタのカウント値とは別の値を出力し、前記第２の出力部は、前記第２のカウンタのカウント値又は前記第２のカウンタのカウント値とは別の値を出力する。

一形態に係る信号処理回路は、第１のカウンタと、第２のカウンタと、前記第１のカウンタのカウント値及び前記第２のカウンタのカウント値が入力される加算器と、前記第１のカウンタのカウント値が閾値を超えたことを検知する検知手段と、第１の出力部と、第２の出力部と、を備え、前記第１のカウンタのカウント値が前記閾値を超えた後に、前記第１のカウンタは、前記カウント値をリセットしてからカウント動作を継続し、前記加算器には、リセットされた後の前記第１のカウンタのカウント値が入力され、前記第１の出力部は、前記第１のカウンタのカウント値又は前記第１のカウンタのカウント値とは別の値を出力し、前記第２の出力部は、前記第２のカウンタのカウント値又は前記第２のカウンタのカウント値とは別の値を出力する。

本発明によれば、撮像装置において、入出力特性のリニアリティを維持することができる。

第１実施形態による撮像装置を含む撮像システムの構成例を示す概略図である。 第１実施形態による撮像装置の概略図である。 第１実施形態による撮像装置の撮像領域を平面視した図である。 第１実施形態による撮像装置における光電変換ユニットを含む回路を模式的に示すブロック図である。 第１実施形態による撮像装置の各光電変換素子の光量差を概念的に示した図である。 第１実施形態による撮像装置の射出瞳像と光電変換ユニットとを平面視した図である。 第１実施形態による信号処理を実施した後に得られる入出力特性の一例を示すグラフである。 第２実施形態による撮像装置における光電変換ユニットを含む回路を模式的に示すブロック図である。 第３実施形態による撮像装置の射出瞳像と光電変換ユニットとを平面視した図である。 第３実施形態による撮像装置における信号処理方法を示すフローチャート図である。 第４実施形態による撮像装置における光電変換ユニットを含む回路を模式的に示すブロック図である。 第５実施形態による撮像システム及び移動体の構成を示す図である。 比較例による撮像装置における光電変換ユニットを含む回路を模式的に示すブロック図である。 比較例による光電変換ユニットの入出力特性の一例を示すグラフである。

［第１実施形態］
本発明の第１実施形態による撮像装置について、図１乃至図７を用いて説明する。

図１は、本実施形態による撮像装置が含まれる撮像システムを示す概略図である。図２は、本実施形態による撮像装置の概略図である。図３は、本実施形態による撮像装置の撮像領域を平面視した図である。図４は、本実施形態の撮像装置の画素回路を模式的に示すブロック図である。図５は、本実施形態による撮像装置の各光電変換素子の光量差を概念的に示した図である。図６は、本実施形態による撮像装置の射出瞳像と光電変換ユニットとを平面視した図である。図７は、本実施形態による信号処理を実施して得られた信号の入出力特性の一例を示すグラフである。

撮像システムは、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星、医療用カメラなどの各種の機器である。図１においてはこれらの一例として、デジタルスチルカメラのブロック図を示している。

図１において、レンズ部１１０１は、被写体の光学像を撮像装置１１０５に結像させる。レンズ駆動装置１１０２によってズーム制御、フォーカス制御、絞り制御などが行われる。メカニカルシャッター１１０３はシャッター制御手段１１０４によって制御される。撮像装置１１０５はレンズ部１１０１で結像された被写体を画像信号として取り込み、撮像信号処理回路１１０６は撮像装置１１０５から出力される画像信号に各種の補正を行ったり、データを圧縮したりする。タイミング発生回路１１０７は撮像装置１１０５、撮像信号処理回路１１０６に、各種タイミング信号を出力する駆動手段である。制御回路１１０９は各種演算と撮像装置全体を制御する。メモリ１１０８はデータを一時的に記憶する。インターフェース１１１０は記録媒体に記録または読み出しを行う。記録媒体１１１１はデータの記録または読み出しを行う為の半導体メモリ等の着脱可能なものであり、表示部１１１２は各種情報や撮影画像を表示する。本実施形態の撮像装置は例えばＣＭＯＳイメージセンサである。

次に、前述の構成における撮影時のデジタルスチルカメラの動作について説明する。

メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路１１０６などの撮像系回路の電源がオンされる。

それから、レリーズボタン（図示せず）が押されると、制御回路１１０９が、撮像装置１１０５からのデータを元に測距演算を行い、測距結果に基づいて被写体までの距離の演算を行う。その後、レンズ駆動装置１１０２が、レンズ部を駆動して合焦か否かを判断する。本発明による撮像装置を用いたデジタルカメラにおいては、高速な合焦動作が可能となる。

撮像装置について以下で詳述する。本実施形態の撮像装置１１０５は、図２に示すように、複数の基板を積層して構成されている。例えば、撮像装置１１０５は、後述するカウンタ回路及び後段回路を含む基板７１０と、複数の光電変換素子及び複数のリセット部を含む基板７００と、を積層して構成されている。光電変換素子を積層された基板の一方に配し、カウンタ回路を他方の基板に配することにより、カウンタ回路の高速化を実現しながら、平面視における撮像装置１１０５の面積が大きくなることを防ぐことができる。なお、光電変換素子に複数のインバータ回路１０３が接続されている場合は、インバータ回路の一部を基板７００に設け、インバータ回路の残りの一部を基板７１０に設けてもよい。また、１つの基板に、複数の光電変換素子、カウンタ回路、及び後段回路が並置されていてもよい。

撮像装置１１０５は、図３に示すように、平面視で、複数の光電変換素子が２次元状に配列された撮像領域１００を有している。ここで、少なくとも２つの撮像素子が１つの光電変換ユニット１０３を構成している。換言すると、撮像領域１００に配列された複数の光電変換素子は、それぞれが少なくとも２つの撮像素子を含む複数のグループに分けられている。１つのグループを、光電変換ユニット１０３と呼んでいる。１つの光電変換ユニット１０３は、例えば、共通の加算器に接続された複数の光電変換素子によって規定される。別の観点では、１つのマイクロレンズの下に配された複数の光電変換素子が、１つの光電変換ユニット１０３を規定する。このように、１つの光電変換ユニット１０３は、所定の条件を共通に満たす複数の光電変換素子の集合である。本実施例では、それぞれの光電変換ユニット１０３は、２つの光電変換素子１０１ａ，１０１ｂを含む。なお、光電変換ユニット１０３は３以上の光電変換素子を含んでいてもよい。撮像領域１００は、特に限定されるものではないが、例えば１０８０行×１９２０列の光電変換ユニット１０３のアレイを含むことができる。なお、図３は、これらのうち、４行×４列の光電変換ユニット１０３のアレイを抜き出して示した図である。

以下では、光電変換ユニット１０３に含まれる光電変換素子を用いて位相差検出を行う場合について説明する。

図３では、位相差検出を行うために、２つの光電変換素子１０１ａ，１０１ｂのそれぞれに光が入射するように、１つのマイクロレンズ１０４が配されている。すなわち、１つのマイクロレンズの下に配されていて、かつ、共通の加算器に接続された複数の光電変換素子が、１つの光電変換ユニット１０３を規定する。

これに限らず、あるマイクロレンズを通過した光が入射する光電変換素子と、平面視で、あるマイクロレンズとは異なる位置に配されたマイクロレンズを通過した光が入射する光電変換素子と、が光電変換ユニット１０３を構成する場合でも、当該光電変換ユニット１０３に含まれる光電変換素子を用いて位相差検出を行うことはできる。例えば、異なるマイクロレンズを通過する光が入射する複数の光電変換素子であって、平面視で、各マイクロレンズの中心に対して点対称に配された複数の光電変換素子を含んでいてもよい。具体的に図３の例では、光電変換ユニットが、１列目の２行目のマイクロレンズに平面視で重なって配された光電変換素子（カラーフィルタがＧａ）と、２列目１行目のマイクロレンズに平面視で重なって配された光電変換素子（カラーフィルタがＧｂ）と、を含んでいてもよい。

なお、位相差検出を行わない場合であっても本発明の入出力特性の線形性の維持の効果を得ることができる。例えば、各マイクロレンズに対して１つの光電変換素子が配され、各光電変換素子と各カウンタ回路とが接続され、複数のカウンタ回路のカウント値を加算する場合であっても本発明の効果を得ることができる。

図３では、マイクロレンズ１０４と各光電変換素子との間には、カラーフィルタが配されている。符号Ｒ，Ｇ，Ｂは、カラーフィルタの色を表しており、Ｒは赤フィルタ、Ｇは緑フィルタ、Ｂは青フィルタである。符号ａは、マイクロレンズ１０４と光電変換素子１０１ａとの間に配されているカラーフィルタを表している。符号ｂは、マイクロレンズ１０４と光電変換素子１０４ｂとの間に配されているカラーフィルタを表している。各光電変換ユニット１０３を構成する２つの光電変換素子１０１ａ，１０１ｂには、同じ色のカラーフィルタが割り当てられている。なお、図３には、いわゆるベイヤー配列によりカラーフィルタを配置した例を示しているが、カラーフィルタの配置は、これに限定されるものではない。例えば、赤フィルタ、緑フィルタ、青フィルタに加えて、透明フィルタを組み合わせて配置してもよい。また、シアンフィルタ、マゼンダフィルタ、イエローフィルタを組み合わせて配置してもよい。さらに可視光用のフィルタに追加して、赤外、および／または近赤外フィルタを設けてもよい。なお、図３ではカラーフィルタを平面視で行列状に配置しているが、カラーフィルタを平面視で千鳥状に配置してもよい。

図４は、図３の各光電変換ユニット１０３に設けられる回路のブロック図である。図４において、同様の機能を持つ素子や回路について同じ符号を付し、末尾に異なるアルファベットの添字を加えて区別していることがある。例えば、光電変換素子１０１ａ、１０１ｂである。両者を区別して説明する必要が無い場合には、ａ，ｂ等の添字を省略して共通部分を説明する。

光電変換素子１０１は、例えば、アバランシェ増幅型のダイオードである。光電変換素子１０１にはブレイクダウン電圧以上の大きさの逆バイアス電圧が印加されており、光電変換素子１０１はガイガーモードで動作するように設定されている。具体的には、複数の光電変換素子１０１と接続された第１の電源線から光電変換素子１０１のアノード側に第１電源電圧、複数の光電変換素子１０１と接続された第２の電源線からカソード側に第２電源電圧が印加される。この第１電源電圧と第２電源電圧の電圧差がブレイクダウン電圧以上となっている。例えば、第１電源電圧は－２０Ｖ、第２電源電圧は３．３Ｖである。光電変換素子１０１のＰＮ接合を構成するＰ型半導体領域の不純物濃度は、例えば、３Ｅ１６以上１Ｅ１７ｃｍ^－３以下であり、ＰＮ接合を構成するＮ型半導体領域の不純物濃度は、例えば、１Ｅ１８以上７Ｅ１９ｃｍ^－３以下である。

リセット部１０２は、光電変換素子１０１での電荷の発生量に応じて光電変換素子１０１をリセットする。リセット部１０２は、例えば、クエンチ素子である。クエンチ素子はＰＭＯＳトランジスタであり、クエンチ素子に印加される電圧により所定のクエンチング抵抗を形成している。クエンチ素子に印加される電圧は、典型的には０～２Ｖである。

次に、光電変換素子１０１とリセット部１０２の動作について説明する。ここで説明する例は、光電変換素子１０１が単一光子アバランシェダイオード（ＳＰＡＤ、Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）の例である。光電変換素子１０１へ１つの光子が入射すると、１対の電子正孔対が生じる。その後、当該１つの電子（及び正孔）は電界によって加速され、複数の電子（及び正孔）による電流が生じる。すなわち、光電変換素子１０１は、アバランシェ増幅により光電流を増幅する。増幅した複数の電子によって得られる電流が、電源電圧のノードから光電変換素子１０１とクエンチ素子を介して接地ノードに流れる。これにより、光電変換素子のカソードの電位が下がり、光電変換素子１０１の動作領域は、ガイガーモードから外れる。これにより光電変換素子１０１のアバランシェ増幅が停止する。その後、電源電圧がクエンチ素子１０２を介して光電変換素子１０１のカソードに供給されるため、クエンチ素子１０２による電圧降下がもとに戻る。つまり、光電変換素子１０１の動作領域は、再びガイガーモードとなる。

ここで、クエンチ素子の役割は、アバランシェ増幅が起こった後に、光電変換素子１０１のカソードの電位を下げて、その後、光電変換素子１０１の動作領域を再びガイガーモードにすることである。以上の動作によって、クエンチ素子は光電変換素子１０１をリセットする。

次に、リセット部（クエンチ素子）１０２が、どのような条件に基づいて光電変換素子１０１のリセットを行うかを説明する。例えば、光電変換素子１０１が先述のＳＰＡＤの場合、リセット部１０２は、生成された１つの電荷の増倍量に応じて光電変換素子をリセットしている。ゆえに、リセット部１０２は、少なくとも１つの電荷が生成されるか、あるいは、電荷が生成されていないかに応じて、リセットを行うか否かが制御される。このような制御が、電荷の発生量に応じて光電変換素子をリセットすることの１つの例である。

このように本実施例では、リセット部１０２は光電変換素子１０１で発生した１つの電荷の発生したことに応じて、光電変換素子１０１の状態をリセットしている。これに対して、光電変換素子１０１にアバランシェ増幅型のダイオード１０１を用いる代わりに、電荷蓄積型のダイオードが用いられてもよい。この場合、リセット部１０２は、所定の量の電荷の発生に応じて光電変換素子をリセットする。ここでいう所定の量とは、ダイオードの飽和電荷量よりも少ない。例えば、リセット部１０２は、光電変換素子で発生した電荷の量が所定の量より少ない間は、リセット動作を行わない。一方、光電変換素子において所定の量を超える電荷が発生したときに、光電変換素子をリセットする。このような制御も、電荷の発生量に応じて光電変換素子をリセットすることの１つの例である。

電荷の発生量に応じてリセットを行う方法の他には、所定の時間が経過したときに光電変換素子１０１をリセットする方法がある。この方法では、光電変換素子１０１で電荷が発生したか否かに関わらず、リセット部１０２は光電変換素子をリセットする。したがって、このような方法は、電荷の発生量に応じてリセットすることとは異なる。もちろん、本実施例で、時間が経過したときに光電変換素子１０１をリセットする制御を併用してもよい。

インバータ回路１０３は、光電変換素子１０１のカソードの電位が入力された結果、入力電位を反転させて出力する。インバータ回路１０３により、光電変換素子１０１への光子の入射の有無をパルスに整形することができる。上述の通り、光電変換素子１０１に光子が入射すると光電変換素子のカソードの電位が下がる。光電変換素子１０１のカソードがインバータ回路１０３に接続されているため、カソードの電位がインバータ回路１０３の閾値より高いときはインバータ回路１０３の出力はローレベルになる。一方、カソードの電位がインバータ回路１０３の閾値より低いときはインバータ回路１０３の出力はハイレベルになる。つまり、インバータ回路１０３の出力はほぼ二値化される。結果として、光電変換素子１０１への光の入射に応じて、矩形パルスがインバータ回路１０３から出力される。

本実施形態では、図４に示すように、インバータ回路１０３がカウンタ回路２０４に接続されている。カウンタ回路２０４はインバータ回路１０３から出力されたパルスの数をカウントし、累算したカウント値を出力線に出力する。つまり、カウンタ回路２０４は、インバータ回路１０３からのパルスを受けると、カウント値を変化させる。ここで、上述の通り、インバータ回路１０３は、光電変換素子１０１への光の入射に応じて、パルスを出力する。言い換えると、光電変換素子１０１によって生成された信号が、インバータ回路１０３を介して、カウンタ回路２０４に入力される。すなわち、カウンタ回路２０４は、光電変換素子からの信号に応じてカウント値を変化させるカウント動作を行う。結果として、カウンタ回路２０４は、光電変換素子１０１へ光子が入射する回数をカウントすることができる。カウンタ回路２０４は、光電変換素子１０１で少なくとも１つの電荷が生成されるか、あるいは、電荷が生成されていないかに応じて、カウント動作を行うか行わないかが制御されている。このような制御が、光電変換素子からの信号に応じてカウント値を変化させることの１つの例である。カウンタ回路２０４は、光電変換素子１０１で電荷が生成されていない場合は、カウント値が変化しない。これに対して、ＡＤ変換に用いられるカウンタ回路では、クロック信号に応じて電荷の発生の有無に関わらずカウント値が変化する。本実施例のカウント動作は、このようなカウント動作とは異なる。

例えば、光電変換素子がＳＰＡＤの場合、カウンタ回路２０４は、光電変換素子へ単一の光子が入射することによりカウント値を変化させている。光電変換素子が電荷蓄積型のダイオードの場合、光の入射により所定数の電荷が光電変換素子で生成されるとカウント値を変化させている。このような動作を、一般に、フォトンカウンティングと呼ぶ。フォトンカウンティングによれば、発生した信号電荷の量に対して増倍された電荷量が非常に大きいため、ＳＮ比を向上させることができる。またＡ／Ｄ変換が不要となるため、信号演算処理が容易になる。

カウンタ回路２０４のビット数は、ｎビット（ｎは２以上の整数）である。カウンタ回路２０４はバイナリコードを出力する。例えば３ビットのとき、カウント値は「０００」、「００１」、「０１０」、「０１１」・・・と変化する。

図５は、光電変換素子１０１ａ，１０１ｂ、マイクロレンズ１０４、及び撮影レンズの射出瞳３０１を示す概略断面図であり、各光電変換素子の光量差を概念的に示した図である。撮影レンズの射出瞳３０１を通過した光は、射出瞳距離３０２を隔てて配置された撮像装置１１０５に入射する。撮像装置１１０５は、前述のように、２つの光電変換素子１０１ａ，１０１ｂを含む光電変換ユニット１０３及びマイクロレンズ１０４を有する。通常、撮影レンズの射出瞳３０１のサイズはミリメートルオーダーであるのに対し、光電変換ユニット１０３のサイズはマイクロメートルオーダーである。実際の比率で図示すると説明に支障があるので、図５では、撮像装置１１０５の構成要素に関しては、一部を抜き出した上で、拡大して示すものとする。

撮影レンズの射出瞳３０１とマイクロレンズ１０４とによって光電変換ユニット１０３の表面に射出瞳像３０３が形成される。なお、断面視すると、射出瞳及び射出瞳像は線状となるが、図５では説明を容易にするために射出瞳及び射出瞳像を鳥瞰視して楕円形としている。図６に、１つのマイクロレンズを通過する光がそれぞれに入射する光電変換素子１０１ａ，１０１ｂを含む光電変換ユニット１０３と射出瞳像３０３とを平面視した図を示す。ここでは、射出瞳像３０３の全体にわたって入射光量が均一であると仮定する。図６に示すように、射出瞳像３０３と光電変換素子１０１ａ，１０１ｂとが部分的に重ならない場合がある。この場合に、図６に示すように、射出瞳像３０３の中心Ｃ１と、光電変換素子１０１ａ、１０１ｂ、及び光電変換素子１０１ａと１０１ｂの間を含む領域の中心Ｃ２（以下では、中心Ｃ２という）とが一致しない場合がある。この場合は、１つの光電変換ユニット１０３に含まれる２つの光電変換素子１０１ａと１０１ｂとに入射光量差が発生する。なお、中心Ｃ２とは、平面視で、分離領域１０５により区切られる２つの光電変換素子の対角線にある端部同士をつなぐ線の中心を指す。分離領域１０５とは、例えば、ＬＯＣＯＳやＳＴＩが配された領域やＰＮ接合分離領域である。

図５において、光電変換ユニット１０３－３は射出瞳像３０３の中心Ｃ１と中心Ｃ２とは一致しており、各光電変換素子に入射する光量差がない例である。撮像ユニット１０３－１，１０３－５は射出瞳像３０３の中心Ｃ１と中心Ｃ２とのずれが大きく、各光電変換素子に入射する光量差が大きい例である。光電変換ユニット１０３－２，１０３－４は射出瞳像３０３の中心Ｃ１と中心Ｃ２とのずれが中程度であり、各光電変換素子に入射する光量差が中程度の例である。

図５において、光電変換素子１０１に示した網掛け部分の面積が、各光電変換素子１０１に入射した光子の数によって決まるカウンタ回路のカウント値に対応している。射出瞳像３０３の中心が変化する要因として、撮像レンズの射出瞳距離３０２と水平像高３０４とがあり、射出瞳像３０３の径が変化する要因として、撮像レンズの瞳径３０５がある。光電変換素子１０１ａと光電変換素子１０１ｂとの光量差の量は、射出瞳像３０３の中心と径とによって決まる。例えば、レンズ交換式カメラの場合には、レンズによって射出瞳距離３０２が変化し、撮像レンズの瞳径３０５は絞り（Ｆ値）によって変化する。レンズ交換式カメラに用いられる撮像装置においては複数の光電変換素子における光量差が生じやすいため、入射光量差がある場合に入出力特性のリニアリティを向上させる効果が顕著になる。

本実施形態では、撮像画像を形成する画像用の信号は、カウンタ回路２０４ａのカウント値と、カウンタ回路２０４ｂのカウント値と、を加算することによって得ている。

図１３及び図１４を用いて、比較例に係る撮像装置と、比較例に係る撮像装置から得られる信号の入出力特性とについて説明する。図１３は、比較例による撮像装置のブロック図である。図１３において、光電変換素子１０１、リセット部１０２、インバータ回路１０３は前述の説明と同様の構成である。比較例では、ｎ－１ビットのカウンタ回路２０４を有する。説明のため、ｎ－１＝１２とする。カウンタ回路２０４のカウント値は、１２ビットの全部が「０」（１０進数で０）である値から、１２ビットの全部が「１」（１０進数で４０９５）である値まで、４０９６ステップの値を取る。

一方の光電変換素子への入射光量が他方の光電変換素子への入射光量よりも大きい場合に、一方の光電変換素子に接続されたカウンタ回路のみでカウント値が飽和することがある。例えば、図１３において、カウンタ回路２０４ａの１２ビットが全て「１」になり、カウンタ回路２０４ｂの１２ビットの一部が「０」の場合がある。つまり、カウンタ回路２０４ａは最大値を出力し、一方、カウンタ回路２０４ｂは最大値に満たないカウント値を出力している。この場合は、一方の光電変換素子１０１ａへ光が入射しても、カウンタ回路２０４ａのカウント値は飽和しているためカウント動作を継続することができない、あるいは、カウント値が初期値にループする。したがって、一方の光電変換素子１０１ａに接続されたカウンタ回路２０４ａのカウント値と他方の光電変換素子１０１ｂに接続されたカウンタ回路２０４ｂのカウント値とを加算すると、入出力特性の線形性が悪化することがある。

図１４は、カウンタ回路２０４ａでカウントされたカウント値の入出力特性４０１、カウンタ回路２０４ｂでカウントされたカウント値の入出力特性４０２、及び入出力特性４０１、４０２を合成した入出力特性４０３の一例を示すグラフである。横軸が１つの光電変換ユニットへの入射光量を示し、縦軸がカウント値を示している。

１つの光電変換ユニットへ入射した光の一部が光電変換素子１０１ａに入射し、他の一部が光電変換素子１０１ｂに入射する。しかし、その比率は必ずしも１：１であるわけではなく、図５において説明したように、光電変換ユニットの位置に応じて比率は変わる。図１４において、入出力特性４０１の傾きと入出力特性４０２の傾きとが異なるのは、光電変換素子１０１ａへの入射光量が光電変換素子１０１ｂへの入射光量よりも多いためである。

光電変換素子１０１ａへの入射光量が光電変換素子１０１ｂへの入射光量よりも多いため、光電変換ユニットへの入射光量が増加していくと、まず、カウンタ回路２０４ａのカウント値が最大値に達する。さらに入射光量が増加すると、カウンタ回路２０４ｂのカウント値が最大値に達する。具体的に、光電変換ユニットへの入射光量がＬ１を超えると、カウンタ回路２０４ａのすべてのビットが「１」になる。つまり、Ｌ１は、カウンタ回路２０４ａのカウント値が飽和するときの光量である。そして、図１４の例において、カウンタ回路２０４ａの全てのビットが「１」になった状態のカウント値（カウント値が４０９５）がＳ１である。カウンタ回路２０４ａの全てのビットが「１」になると、カウンタ回路２０４ａは、例えば、オーバーフローして２周目のカウント動作に入らないようカウントをストップさせる。したがって、光電変換素子１０１ａへ光が入射し続けてもカウンタ回路２０４ａはカウント動作を行うことができず、一定のカウント値から変わらなくなる。一方、入射光量がＬ１を超えても、カウンタ回路２０４ｂは光量がＬ２に達するまでカウントを継続することができる。光電変換ユニットへの入射光量がＬ２を越えると、カウンタ回路２０４ｂのすべてのビットが「１」になり、カウンタ回路２０４ａと同様に、カウント動作を継続できなくなる。つまり、光電変換ユニットへの入射光量Ｌ２が、カウンタ回路２０４ｂのカウント値が飽和するときの光量である。

入出力特性４０１，４０２を合成した入出力特性４０３は、図１４に示すように、光量Ｌ１以上において傾きが小さくなり、線形性が悪化する。これは、光量Ｌ１を超えると、カウンタ回路２０４ａがカウント動作を停止するからである。入出力特性４０３は、光量Ｌ２以上において、カウンタ回路２０４ａのカウント値が飽和するときのカウント値とカウンタ回路２０４ｂのカウント値が飽和するときのカウント値とを加算したカウント値Ｓ２（＝２×Ｓ１）となる。図１４に示すように、一方のカウンタ回路が飽和値に達すると光電変換素子に光が入射してもカウンタ回路でカウント動作を継続することができなくなり、２つのカウンタ回路のカウント値を加算した信号の入出力特性の線形性が悪化する。

これに対して、本実施形態による信号処理方法は、複数のカウンタ回路のカウント値を加算する場合に生じ得る入出力特性の線形性悪化を改善する。図４を用いて、本実施形態による信号処理方法について説明する。図４は、本実施形態による光電変換ユニットを含む回路を模式的に示すブロック図である。本実施形態では、カウンタ回路２０４が閾値を超えたことを検知する検知手段を備える。検知手段を備えることにより、カウンタ回路のカウントの飽和を検知することができるため、カウンタ回路のカウント数を加算する場合に生じ得る入出力特性の線形性悪化を防ぐことができる。

図４に示すように、本実施形態では、カウンタ回路は比較例のカウンタ回路に対して上位１ビット拡張されている。つまり、カウンタ回路のビット数は、ｎビットである。そして、カウンタ回路２０４から出力されるカウント値が伝達され且つ加算器に接続される出力線とは別に、カウンタ回路２０４から出力されるカウント値が伝達され且つ加算器に接続されない出力線２０５を備える。加算器に接続されない出力線２０５は、本実施形態において検知手段として機能するＯＲ回路５０３に接続される。検知手段は、カウンタ回路２０４のカウント値が閾値を超えたことを検知する。具体的に、最上位ビットであるＣＯＵＮＴａ［１２］が「１」であることを以て、本実施形態の検知手段として機能するＯＲ回路５０３は、カウンタ回路２０４のカウント値が閾値を超えたことを検知する。

本実施形態において、閾値は、最上位ビットよりも下位のビットが全て「１」になる値である。つまり、図４では、閾値は、最上位ビットである１３ビットよりも下位の１２ビットのカウント値であるＣＯＵＮＴａ［１１：０］が全て「１」になる値である。１０進数で示すと、１３ビットのカウンタ回路２０４は、０から８１９１までの８１９２ステップのカウント値を出力できる。下位の１２ビットのＣＯＵＮＴａ［１１：０］が全て「１」になる値とは、最大のカウント値の半分の値である。つまり、本実施形態では、最大のカウント値の半分の値を閾値として設定している。

カウンタ回路２０４のカウント値が閾値を超えた後は、ＣＯＵＮＴａ［１１：０］が再び０からカウントした信号を、加算器５０６に出力する信号として用いる。なお、本明細書において、［１１：０］とは、最下位ビットが０ビット、最上位ビットが１１ビットであり、合計で１２ビットのカウント値を表す。また、所定のビットについては［ｎ］と表記する。

なお、閾値は、最上位ビットである１３ビットよりも下位の１２ビットが全て「１」になる値に限定されない。例えば、１３ビットのカウンタ回路において、１２ビットよりも下位のビットが全て「１」になる値を閾値としてもよい。この場合、最大値の１／４の値が閾値である。このように、閾値を最大値の１／（２の階乗）の値に設定すると、検知手段の構成を簡素にすることができる。具体的に、本実施形態では、最上位ビットから「１」が出力されたことを検知するだけで、カウント値が閾値を超えたことを検知することができる。

変形例として、閾値を任意の値とすることができる。この場合、カウンタ回路のカウント値を所定のカウント値と比較する比較回路が設けられる。この場合は、各ビットが所定の値に相当する値となったとき所定の値を超えたことを検知する。回路規模は大きくなるが、閾値を自由に設定できるという利点がある。

検知手段により、加算した信号の入出力特性の線形性を維持することができる。図４では、カウンタ回路２０４ａ及びカウンタ回路２０４ｂにそれぞれ検知手段として機能するＯＲ回路５０３及びＯＲ回路５０８が接続されている。これにより、相対的に多くの光が入射する光電変換素子が、光電変換素子１０１ａ及び光電変換素子１０１ｂのいずれであっても、加算した信号の入出力特性の線形性を維持することができる。つまり、撮像領域１００のどの位置の光電変換ユニット１０３に光が入射したとしても、加算した信号の入出力特性の線形性を維持することができる。なお、一方のカウンタ回路に検知手段を設け、他方のカウンタ回路に検知手段を設けなくともよい。例えば、光が入射しやすい光電変換素子に基づいてカウント値をカウントするカウンタのみに検知手段を設け、光が入射しにくい光電変換素子に基づいてカウント値をカウントするカウンタには検知手段を設けなくともよい。

本実施形態では、カウンタ回路２０４がバイナリコードのカウント値を出力する。最上位ビットであるＣＯＵＮＴａ［１２］が「１」となると、出力線２０５ａから信号が出力され、カウンタ回路２０４ａが閾値を超えたことが検知される。そして、下位１２ビットであるＣＯＵＮＴａ［１１：０］は再び０からカウントを開始する。カウンタ回路２０４ａの下位１２ビットであるＣＯＵＮＴａ［１１：０］に着目すると、これは１２ビットのカウンタ回路のカウント値がリセットされることと等価である。

カウンタ回路２０４ａ及びカウンタ回路２０４ｂは、加算器５０６に接続されている。カウンタ回路２０４ａは、カウント値の下位１２ビットの信号ＣＯＵＮＴａ［１１：０］を加算器５０６に出力する。カウンタ回路２０４ｂは、カウント値の下位１２ビットの信号ＣＯＵＮＴｂ［１１：０］を加算器５０６に出力する。カウンタ回路２０４ａは、カウント値の最上位ビットの信号ＣＯＵＮＴａ［１２］をＯＲ回路５０３、ＡＮＤ回路５０７、及びマルチプレクサ５０５に出力する。カウンタ回路２０４ｂは、カウント値の最上位ビットの信号ＣＯＵＮＴｂ［１２］をＯＲ回路５０８、ＡＮＤ回路５０２、及びマルチプレクサ５０１に出力する。

カウンタ回路２０４ａと加算器５０６とは、カウンタ回路２０４ａから出力される信号を伝達する複数の出力線のうちの一部の出力線を介して接続されている。そして、カウンタ回路２０４ａとＯＲ回路５０３とが、カウンタ回路２０４ａから出力される信号が通る複数の出力線のうちの他の一部の出力線２０５ａを介して接続されている。また、複数の出力線のうちの他の一部の出力線２０５ａは、ＡＮＤ回路５０７及びマルチプレクサ５０５に接続されている。同様に、カウンタ回路２０４ｂと加算器５０６とは、カウンタ回路２０４ｂから出力される信号を伝達する複数の出力線のうちの一部の出力線を介して接続されている。そして、カウンタ回路２０４ｂとＯＲ回路５０８とが、カウンタ回路２０４ｂから出力される信号を伝達する複数の出力線のうちの他の一部の出力線２０５ｂを介して接続されている。他の一部の出力線２０５ｂは、さらにマルチプレクサ５０１、及びＡＮＤ回路５０２に接続されている。

加算器５０６には、カウンタ回路２０４ａのＣＯＵＮＴａ［１１：０］とカウンタ回路２０４ｂのＣＯＵＮＴｂ［１１：０］が入力される。加算器５０６は、ＣＯＵＮＴａ［１１：００］とＣＯＵＮＴｂ［１１：０］とを加算したカウント値ＡＤＤａｂ［１１：０］をマルチプレクサ５０１及びマルチプレクサ５０２に出力する。加算器５０６は、キャリー信号（以下、「ＣＡＲＲＹ」と表記する。）をＡＮＤ回路５０２及びＡＮＤ回路５０７に出力する。ＣＡＲＲＹは、カウンタ回路２０４ａのＣＯＵＮＴａ［１１：０］とカウンタ回路２０４ｂのＣＯＵＮＴｂ［１１：０］とを加算したカウント値が閾値以下の場合は「０」である。カウンタ回路２０４ａのＣＯＵＮＴａ［１１：００］とカウンタ回路２０４ｂのＣＯＵＮＴｂ［１１：０］とを加算したカウント値が閾値を超える場合にＣＡＲＲＹが「１」に変わる。本実施形態では、ＣＯＵＮＴａ［１１：００］とＣＯＵＮＴｂ［１１：０］とを加算したカウント値が加算器５０６の最大値（十進数で４０９５）を超えた場合にＣＡＲＲＹが「１」に変わる。

ＡＮＤ回路５０２には、カウンタ回路２０４ｂのＣＯＵＮＴｂ［１２］及び加算器５０６のＣＡＲＲＹが入力される。ＡＮＤ回路５０２は、ＣＯＵＮＴｂ［１２］が「１」及び加算器のＣＡＲＲＹが「１」の場合のみ「１」をＯＲ回路５０３に出力し、この条件以外の場合は「０」をＯＲ回路５０３に出力する。

ＡＮＤ回路５０７には、カウンタ回路２０４ａのＣＯＵＮＴａ［１２］及び加算器５０６のＣＡＲＲＹが入力される。ＡＮＤ回路５０７は、ＣＯＵＮＴａ［１２］が「１」及び加算器のＣＡＲＲＹが「１」の場合のみ「１」をＯＲ回路５０８に出力し、この条件以外の場合は「０」をＯＲ回路５０８に出力する。

ＯＲ回路５０３には、ＡＮＤ回路５０２の出力及びカウンタ回路２０４ａのＣＯＵＮＴａ［１２］が入力される。ＯＲ回路５０３は、ＣＯＵＮＴａ［１２］又はＡＮＤ回路５０２の出力の少なくとも一方が「１」の場合に「１」をマルチプレクサ５０４に出力する。ＯＲ回路５０３は、ＣＯＵＮＴａ［１２］が「０」であり且つＡＮＤ回路５０２の出力が「０」である場合に「０」をマルチプレクサ５０４に出力する。

ＯＲ回路５０８には、ＡＮＤ回路５０７の出力及びカウンタ回路２０４ｂのＣＯＵＮＴｂ［１２］が入力される。ＯＲ回路５０８は、ＣＯＵＮＴｂ［１２］又はＡＮＤ回路５０７の出力の少なくとも一方が「１」の場合に、マルチプレクサ５０９に「１」を出力する。ＯＲ回路５０８は、ＣＯＵＮＴｂ［１２］が「０」であり且つＡＮＤ回路５０７の出力が「０」である場合に「０」をマルチプレクサ５０９に出力する。

マルチプレクサ５０１には、カウンタ回路２０４ａのＣＯＵＮＴａ［１１：０］、加算器５０６のＡＤＤａｂ［１１：０］、及びカウンタ回路２０４ｂのＣＯＵＮＴｂ［１２］が入力される。マルチプレクサ５０１は、カウンタ回路２０４ｂのＣＯＵＮＴｂ［１２］に応じて、カウンタ回路２０４ａのＣＯＵＮＴａ［１１：０］又は加算器５０６のＡＤＤａｂ［１１：０］を選択的に出力している。カウンタ回路２０４ｂのＣＯＵＮＴｂ［１２］が「１」である場合、カウンタ回路２０４ｂのカウント値が飽和しているため、マルチプレクサ５０１は加算器５０６のＡＤＤａｂ［１１：０］を出力する。また、カウンタ回路２０４ｂのＣＯＵＮＴｂ［１２］が「０」である場合、カウンタ回路２０４ｂのカウント値が飽和していないため、マルチプレクサ５０１はカウンタ回路２０４ａのＣＯＵＮＴａ［１１：０］を出力する。

マルチプレクサ５０５には、カウンタ回路２０４ｂのＣＯＵＮＴｂ［１１：０］、加算器５０６のＡＤＤａｂ［１１：０］、及びカウンタ回路２０４ａのＣＯＵＮＴａ［１２］が入力される。マルチプレクサ５０５は、カウンタ回路２０４ａのＣＯＵＮＴｂ［１２］に応じて、カウンタ回路２０４ｂのＣＯＵＮＴｂ［１１：０］又は加算器５０６のＡＤＤａｂ［１１：０］を選択的に出力している。カウンタ回路２０４ａのＣＯＵＮＴａ［１２］が「１」である場合、カウンタ回路２０４ａのカウント値が飽和しているため、マルチプレクサ５０５は加算器５０６のＡＤＤａｂ［１１：０］を出力する。また、カウンタ回路２０４ａのＣＯＵＮＴａ［１２］が「０」である場合、カウンタ回路２０４ａのカウント値が飽和していないため、マルチプレクサ５０５はカウンタ回路２０４ｂのＣＯＵＮＴｂ［１１：０］を出力する。

図４に示すように、本実施形態では、２つの出力部（マルチプレクサ）５０４、５０９を備えている。２つの出力部は、各カウンタ回路２０４ａ、２０４ｂのカウント値が閾値を超えたことを各検知手段が検知するかどうかに応じて、出力する値を選択して出力する。本実施形態では、第１の出力部は第１のカウンタのカウント値又は他の値を出力し、第２の出力部は第２のカウンタのカウント値又は他の値を出力している。第２の出力部は、ＣＡＲＲＹが出力されたかどうかに応じて、加算器のカウント値または所定の値を選択して出力する。以下で、一例を説明する。

図７は、マルチプレクサ５０４の入出力特性６０１、マルチプレクサ５０９の入出力特性６０２、及び入出力特性６０１，６０２を合成した入出力特性６０３の一例を示すグラフである。横軸が光電変換素子１０１ａ及び光電変換素子１０１ｂへの入射光量を示し、縦軸がカウント値を示している。撮像装置は、図４に示すように、光電変換素子１０１ａ、１０１ｂ、カウンタ回路２０４ａ、２０４ｂ、各カウンタ回路２０４ａ、２０４ｂの上位１ビット、出力線２０５ａ、２０５ｂ、及び加算器５０６を備える。本実施形態によれば、入出力特性の線形性が改善している。図１４の説明同様に、カウンタ回路２０４ａが飽和するときの光電変換ユニットへの入射光量が光量Ｌ１である。また、カウンタ回路２０４ｂが飽和するときの光電変換ユニットへの入射光量が光量Ｌ３である。つまり、光量Ｌ３は、加算器５０６のＣＡＲＲＹが「１」になる光量である。入射光量がＬ１未満の場合、Ｌ１以上Ｌ３未満の場合、Ｌ３以上の場合の３通りに分けて説明する。

まず入射光量がＬ１未満である場合に関して説明する。この場合には、ＣＯＵＮＴａ［１２］及びＣＯＵＮＴｂ［１２］は「０」であるので、マルチプレクサ５０１からはＣＯＵＮＴａ［１１：０］が出力される。また、ＡＮＤ回路５０２の出力が「０」になるのでＯＲ回路５０３の出力も「０」になる。よって、マルチプレクサ５０４の出力ＯＵＴａ［１１：０］はＣＯＵＮＴａ［１１：０］となる。同様にＯＵＴｂ［１１：０］からはＣＯＵＮＴｂ［１１：０］が出力される。このように、入射光量がＬ１未満の場合には各光電変換素子からの信号がそのまま出力される。

次に入射光量がＬ１以上Ｌ３未満である場合に関して説明する。この場合には、ＣＯＵＮＴａ［１２］は「１」でＣＯＵＴＮｂ［１２］は［０］である。よって、ＯＲ回路５０３の出力が「１」となり、マルチプレクサ５０４の出力ＯＵＴａ［１１：０］は４０９５となる。一方、マルチプレクサ５０５からは追加信号ＣＯＵＮＴａ［１１：０］とＣＯＵＮＴｂ［１１：０］がキャリー付き１２ビット加算器５０６によって加算されたＡＤＤａｂ［１１：０］が出力される。追加信号とは、閾値を超えた後のカウント動作によって得られる信号である。また、入射光量がＬ３未満の場合、加算器５０６のＣＡＲＲＹは「０」なので、ＡＮＤ回路５０７の出力は「０」となる。よってＯＲ回路５０８の出力も「０」となり、マルチプレクサ５０９の出力は加算信号ＡＤＤａｂとなる。図７に示すように入出力特性６０２の傾きが入射光量Ｌ１未満の場合と比較して大きくなることによって、合成入出力特性６０３の線形性が改善する。

なお、一般的に、［１１：０］の最下位ビットは４０９６であるが、本実施形態では本回路の原理上、ＡＤＤａｂ［１１：０］の最下位ビットが４０９６になるとＣＡＲＲＹから「１」が出力される。したがって、ＡＤＤａｂ［１１：０］の最下位ビットは４０９５となり、一般的な１２ビットのＬＳＢと比較して１ＬＳＢ小さくなる。多くの場合問題とならないが、この誤差を補正する構成を追加してもよい。

次に入射光量がＬ３以上である場合に関して説明する。入射光量がＬ１以上なので、先述の通りＯＵＴａ［１１：０］は４０９５となる。また、ＣＯＵＮＴａ［１２］及びＣＡＲＲＹが共に「１」となるのでＡＮＤ回路５０７の出力は「１」となる。すると、ＯＲ回路５０８の出力も「１」となるため、マルチプレクサ５０９の出力ＯＵＴｂ［１１：０］も４０９５となる。

本実施形態では、カウンタ回路２０４で最上位ビットの信号値が変化した場合に、最上位ビット未満のビットの信号をリセットするカウントリセットを行う。カウントリセットを行った後にカウントを継続する。カウントリセットを行った後にカウント動作を継続して得られるカウント値と、カウント値が飽和していない光電変換素子に接続されるカウンタ回路からのカウント値とを加算して出力する。これにより、光量差がある光電変換素子の信号を加算して出力する場合の入出力特性の線形性を改善することができる。

なお、カウントリセットを行うのは、最上位ビットの信号値が変化した場合に限定されない。例えば、任意のビットの信号が変化した場合にカウントリセットを行ってもよい。あるいは、カウンタ回路２０４のカウント値を、所定のカウント値と比較して、その結果に応じてカウントリセットを行っても良い。

なお、カウンタ回路２０４は、バイナリコードのカウント値を出力するものに限定されず、グレイコードのカウンタ値を出力するものでもよい。グレイコードとは、隣り合う値でビットの変化が１ビットしかないものである。グレイコードを用いることにより、ビットの変化が少ないため、誤差を減らすことができる。カウンタ回路２０４がグレイコードのカウンタ値を出力するものである場合も、バイナリコードのカウンタ値を出力するもの同様に、最上位ビットが「１」になる値を閾値とすることができる。あるいは、所定のカウント値と比較して閾値を超えるかどうかを検知し、その結果に応じてカウントリセットを行ってもよい。

マルチプレクサ５０４に接続されるビット線の数は、カウンタ回路２０４ａに接続されるビット線の数よりも少ない。同様に、マルチプレクサ５０９のビット線の数は、カウンタ回路２０４ｂに接続されるビット線の数よりも少ない。これにより、後段回路のビット線を増やすことなく、合成入出力特性６０３の線形性を改善させることができる。また、マルチプレクサ５０４が出力するビットの数は、カウンタ回路２０４ａが出力するビットの数よりも少ない。同様に、マルチプレクサ５０９が出力するビットの数は、カウンタ回路２０４ｂが出力するビットの数よりも少ない。これにより、後段回路のビット線を増やすことなく、合成入出力特性６０３の線形性を改善させることができる。また、ＭＥＭのビット数の低減や、ＤＦＥからの出力インターフェースのビットレート削減、ＤＳＰの処理負荷軽減の効果がある。

入射光量がＬ１未満である場合は、光電変換素子１０１ａ、１０１ｂからの出力が閾値を超えない場合である。この場合は、第１の出力部であるマルチプレクサ５０４の出力ＯＵＴａ［１１：０］と第２の出力部であるマルチプレクサ５０９の出力ＯＵＴｂ［１１：０］とを用いて位相差検出を行うことができる。なお、入射光量がＬ１以上である場合は、マルチプレクサ５０４、５０９の少なくとも一方から出力される信号は各光電変換素子１０１ａ、１０１ｂの信号を加算した信号である。入射光量がＬ１以上である場合は、位相差検出精度が低下するため、位相差検出を行わないようにしてもよい。

図４の後段回路として、メモリＭＥＭ、デジタルフロントエンドＤＦＥ、カウント値処理回路ＤＳＰなどを配置することが考えられる。ＯＵＴａ［１１：０］とＯＵＴｂ［１１：０］の合成はこれらの後段回路によって行われる。後段回路は、図１に示すように、カウンタ回路を含む基板と異なる基板に設けられ、カウンタ回路を含む基板と後段回路が設けられる基板とを積層することが好ましい。

なお、本実施形態の撮像装置は、位相差検出を行うために２つの出力部を備えている。これに限らず、複数のカウンタ回路のカウンタ数を加算して、１つの出力部から出力される撮像装置であってもよい。

また、図４に示す回路は一例である。上述のように、各カウンタ回路のカウント値の飽和及び加算器の加算時のキャリーオーバーを検知でき、且つ、カウント値の飽和の有無に応じて出力部が選択的にカウント値を出力でき、入出力特性を改善できれば、どのような回路としてもよい。例えば、本実施例ではカウント回路２０４ａのカウント値を出力するか、所定の値を出力するかをＡＮＤ回路５０２とＯＲ回路５０３による論理演算で決定している。同じ論理演算の結果を得ることができる論理回路の組み合わせの変形例を採用してもよい。

［第２実施形態］
本発明の第２実施形態による撮像装置及び信号処理方法について、図８を用いて説明する。第１実施形態による撮像装置及び信号処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

光電変換素子１０１ａ、１０１ｂの出力までは図４と同様である。本実施形態では、カウンタ回路が、光電変換素子１０１ａ、１０１ｂが設けられた基板７００とは異なる基板７１０に設けられている。そして、基板７１０に設けられたカウンタ回路と、基板７１０とは異なる基板７２０に設けられたＭＥＭと、が接続されている。なお、ＭＥＭはＤＦＥと接続され、ＤＦＥはＤＳＰブロックと接続されている。また、図４の追加信号の加算処理をＤＦＥまたはＤＳＰブロックで行うものとする。つまり、第１実施形態においては、光電変換ユニット毎に追加信号の加算処理回路が必要だったのに対し、本実施形態では、複数の光電変換ユニットで共用しているＤＦＥブロックまたはＤＳＰブロックに配置している。これにより、回路規模を小さくすることができる。この場合においても、ＤＦＥからの出力インターフェースのビットレート削減や、ＤＳＰの処理負荷軽減の効果がある。

これらＭＥＭやＤＦＥ、ＤＳＰブロックは撮像装置外に配置してもよい。

［第３実施形態］
本発明の第３実施形態による撮像装置及び信号処理方法について、図９及び図１０を用いて説明する。第１実施形態及び第２実施形態による撮像装置及び信号処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

本実施形態では、図９に示すように、１つの光電変換ユニット９０１が４つの光電変換素子９０２，９０３，９０４，９０５を含む。光電変換素子９０２～９０４は、光電変換素子１０１と同様の構成を含む。

第１実施形態及び第２実施形態においては横方向の位相差を用いた縦線検知ＡＦを行っていたが、４つの光電変換素子を設けることで、縦方向の位相差を用いた横線検知ＡＦも可能となり、所謂クロスＡＦが可能となる。

光電変換ユニット９０１に含まれる４つの光電変換素子のそれぞれに光が入射するようにマイクロレンズ９０６が設けられている。図９の９０７は射出瞳像である。図６と同様に、射出瞳像９０７と各光電変換素子とが部分的に重なりあわず、射出瞳像９０７の中心Ｃ１が中心Ｃ２からずれているので、４つの光電変換素子において光量差が発生する。

図９のように３つ以上の光電変換素子からの信号を加算する場合は、加算する光電変換素子を選択できることが好ましい。図１０に、光電変換素子９０２からのカウンタ信号が追加信号を加算する相手を選択する方法の一例をフローチャートにて示す。

まず、Ｓ００１において、縦線検知優先か横線検知優先かを判断する。被写体のコントラストの高い方向に応じて判断してもよいし、ユーザに選択させてもよい。その際、重力による影響で一般的な被写体は縦長のものが多く、横方向にコントラストが高いことが多いので、標準値として縦線検知優先にしておくことが好ましい。

縦線検知優先の場合は、Ｓ００２に進む。縦線検知優先の場合には横方向の瞳分割を優先させるので、信号の加算相手は縦方向であることが好ましい。よって、Ｓ００２において、光電変換素子９０３に接続されたカウンタ回路の最上位ビットが「０」である場合は、光電変換素子９０２の追加信号を光電変換素子９０３に加算する。

次に、Ｓ００２において、横線検知優先だった場合や光電変換素子９０３に接続されたカウンタ回路の最上位ビットが「１」である場合について説明する。この場合は、Ｓ００３に進む。Ｓ００３において、光電変換素子９０４に接続されたカウンタ回路の最上位ビットが「０」である場合は、閾値を超えた後に光電変換素子９０２に基づいて得られるカウント値を光電変換素子９０４に基づいて得られるカウント値に加算する。

Ｓ００３において、光電変換素子９０４に接続されたカウンタ回路の最上位ビットが「１」である場合は、Ｓ００４に進む。

Ｓ００４において、光電変換素子９０３に接続されたカウンタ回路の最上位ビットが「１」である場合は、Ｓ００５に進む。なお、Ｓ００４において、光電変換素子９０３に接続されたカウンタ回路の最上位ビットが「０」である場合は、閾値を超えた後に光電変換素子９０２に基づいて得られるカウント値を光電変換素子９０３に基づいて得られるカウント値に加算する。

Ｓ００５において、光電変換素子９０５に接続されたカウンタ回路の最上位ビットが「０」は、閾値を超えた後に光電変換素子９０２に基づいて得られるカウント値を光電変換素子９０５に基づいて得られるカウント値号に加算する。なお、Ｓ００５において、光電変換素子９０５に接続されたカウンタ回路の最上位ビットが「１」である場合には、加算処理は行わない。

光電変換素子９０２以外の光電変換素子に基づいて得られるカウント値が先に閾値に達した場合や、カウント値を加算した結果閾値に達した場合にも、上述の考え方を元に加算相手を選択する。

このようにすることで、１つの光電変換ユニットに３つ以上の光電変換素子を設けた場合においても、撮像面クロスＡＦの機能を大きく損なうことなく、合成入出力特性の線形性を改善することができる。

［第４実施形態］
本発明の第４実施形態による撮像装置及び信号処理方法について、図４及び図１１を用いて説明する。第１実施形態乃至第３実施形態による撮像装置及び信号処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

図１１は第２実施形態を示す図８と比較して、各カウンタ回路からＣＯＵＮＴ［１２］信号を出力していない。一方で、レンズの射出瞳からの距離情報ＥＰＤ３０２と光電変換ユニットのアドレス信号ＡＤＤＲＥＳＳをＤＦＥブロックに入力している。先述の通り、同一の光電変換ユニット内に配置された複数の光電変換素子の光量の大小関係は、射出瞳像の中心によって決まる。射出瞳像３０３の中心が変化する要因として、撮像レンズの射出瞳距離３０２と水平像高３０４とがある。第３実施形態のようにクロスＡＦを行う場合には垂直像高の情報も必要である。

図１１のように撮影レンズの射出瞳からの距離情報ＥＰＤと光電変換ユニットのアドレス信号ＡＤＤＲＥＳＳをＤＦＥに入力することで、同一の光電変換ユニット内に配置された複数の光電変換素子の光量の大小関係の期待値を算出することができる。一方で、図１１の１２ビットカウンタが１２ビットに達すると２周目のカウント動作に入り、前記大小関係が期待値とずれることになる。第４実施形態は、この期待値ずれを検出してＤＦＥ内で１２ビット信号を出力することを特徴とする。第４実施形態においては、加算器はＤＦＥに含まれている。その後の追加信号の加算処理などは第１実施例乃至第３実施例と同様である。また、原理上像高が高くなるに従って撮像素子感の光量差は大きくなる。このことを利用して光量差の大小関係が反転した場合に１２ビット信号を出力するようにしてもよい。この場合、ＥＰＤとＡＤＤＲＥＳＳ信号は必ずしも必要としない。本実施例においてはＤＦＥブロックで処理する例を示したが、ＤＳＰブロックで同様の処理を行ってもよい。このようにすることでカウンタのビット数を低減し、後段回路のバス幅を拡張することなく合成入出力特性６０３の線形性を改善させることができる。また、ＭＥＭのビット深さ低減や、ＤＦＥからの出力インターフェースのビットレート削減、ＤＳＰの処理負荷軽減の効果がある。

［第５実施形態］
本発明の第５実施形態による撮像システム及び移動体について、図１２（Ａ）及び図１２（Ｂ）を用いて説明する。図１２（Ａ）及び図１２（Ｂ）は、本実施形態による撮像システム及び移動体の構成を示す図である。

図１２（Ａ）は、車載カメラに関する撮像システム４００の一例を示したものである。撮像システム４００は、撮像装置４１０を有する。撮像装置４１０は、上述の第１乃至第４実施形態に記載の撮像装置のいずれかである。撮像システム４００は、撮像装置４１０により取得された複数の画像データに対し、画像処理を行う処理装置である画像処理部４１２を有する。また、撮像システム４００は、撮像装置４１０により取得された複数の画像データから視差（視差画像の位相差）の算出を行う処理装置である視差取得部４１４を有する。さらに、撮像システム４００は、算出された視差に基づいて対象物までの距離を算出する処理装置である距離取得部４１６と、算出された距離に基づいて衝突可能性があるか否かを判定する処理装置である衝突判定部４１８と、を有する。ここで、視差取得部４１４や距離取得部４１６は、対象物までの距離情報等の情報を取得する情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部４１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。上述した各種の処理装置は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールに基づいて演算を行う汎用のハードウェアによって実現されてもよい。また、処理装置は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって実現されてもよい。

撮像システム４００は、車両情報取得装置４２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ４３０が接続されている。すなわち、制御ＥＣＵ４３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、ドライバーへ警報を発する警報装置４４０とも接続されている。例えば、衝突判定部４１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ４３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置４４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム４００で撮像する。図１２（Ｂ）に、車両前方（撮像範囲４５０）を撮像する場合の撮像システム４００を示した。車両情報取得装置４２０は、撮像システム４００を動作させ撮像を実行させるように指示を送る。上述の第１乃至第４実施形態の撮像装置を撮像装置４１０として用いることにより、本実施形態の撮像システム４００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（輸送機器）に適用することができる。移動体（輸送機器）における移動装置はエンジン、モーター、車輪、プロペラなどの各種の移動手段である。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

１０１ａ、１０１ｂ 光電変換素子
１０２ａ、１０２ｂ リセット部
２０４ａ、２０４ｂ カウンタ
５０６ 加算器
５０３ 検知手段

Claims (18)

1. 第１の光電変換素子と、
   第２の光電変換素子と、
   前記第１の光電変換素子からの信号に応じてカウント値を変化させるカウント動作を行う第１のカウンタと、
   前記第２の光電変換素子からの信号に応じてカウント値を変化させるカウント動作を行う第２のカウンタと、
   前記第１の光電変換素子での電荷の発生量に応じて前記第１の光電変換素子をリセットする第１のリセット部と、
   前記第２の光電変換素子での電荷の発生量に応じて前記第２の光電変換素子をリセットする第２のリセット部と、
   前記第１のカウンタのカウント値及び前記第２のカウンタのカウント値が入力される加算器と、
   前記第１のカウンタのカウント値が閾値を超えたことを検知する検知手段と、
   第１の出力部と、
   第２の出力部と、を備え、
   前記第１のカウンタのカウント値が前記閾値を超えたことを前記検知手段が検知するかどうかに応じて、
   前記第１の出力部は、前記第１のカウンタのカウント値又は前記第１のカウンタのカウント値とは別の値を出力し、
   前記第２の出力部は、前記第２のカウンタのカウント値又は前記第２のカウンタのカウント値とは別の値を出力することを特徴とする撮像装置。
2. 前記第１のカウンタのカウント値が前記閾値を超えた後に、前記第１のカウンタは前記カウント動作を継続し、
   前記加算器には、前記第１のカウンタのカウント値が前記閾値を超えた後の前記カウント動作によって得られる前記第１のカウンタのカウント値が入力されることを特徴とする請求項１に記載の撮像装置。
3. 前記第２のカウンタのカウント値が第２の閾値を超えたことを検知する第２の検知手段を備え、
   前記第２のカウンタのカウント値が前記第２の閾値を超えた後に、前記第２のカウンタは前記カウント動作を継続し、
   前記加算器には、前記第２のカウンタのカウント値が前記閾値を超えた後の前記カウント動作によって得られる前記第２のカウンタのカウント値が入力されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記加算器のカウント値が第３の閾値を超えたことを検知する第３の検知手段を備えることを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
5. 前記第３の閾値を超えたことを前記第３の検知手段が検知するかどうかに応じて、前記第２の出力部は、前記第２のカウンタのカウント値とは別の値として前記加算器のカウント値又は前記第１のカウンタのカウント値とは別の値を選択して出力することを特徴とする請求項４に記載の撮像装置。
6. 前記第１の出力部のビット数は、前記第１のカウンタのビット数よりも少ないことを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
7. 前記第１のカウンタのカウント値が伝達される出力線の数は、前記第１の出力部のカウント値が伝達される出力線の数よりも少ないことを特徴とする請求項１～６のいずれか１項に記載の撮像装置。
8. 前記第１のカウンタはｎ（ｎは２以上の整数）ビットであり、
   前記閾値は、前記ｎビットのうちの最上位ビットよりも下位のビットが反転する値であることを特徴とする請求項１～７のいずれか１項に記載の撮像装置。
9. 前記検知手段は、前記ｎビットのうちの最上位ビットの信号を伝達する出力線であることを特徴とする請求項８に記載の撮像装置。
10. 前記第１の光電変換素子及び前記第２の光電変換素子は、それぞれ単一光子アバランシェダイオードであることを特徴とする請求項１～９のいずれか１項に記載の撮像装置。
11. 前記第１の光電変換素子及び前記第２の光電変換素子は第１基板に設けられ、
    前記第１のカウンタ、前記第２のカウンタ、及び前記加算器は第２基板に設けられ、
    前記第１基板と前記第２基板とは積層されていることを特徴とする請求項１～９のいずれか１項に記載の撮像装置。
12. 第３の光電変換素子と、
    前記第３の光電変換素子への光の入射に応じてカウント値を変化させるカウント動作を行う第３のカウンタと、
    前記第３のカウンタのカウント値が第３の閾値を超えたことを検知する第４の検知手段と、を備え、
    前記閾値を超えたことを前記検知手段が検知するかどうか、前記第２の閾値を超えたことを前記第２の検知手段が検知するかどうか、及び前記第３の閾値を超えたことを前記第４の検知手段が検知するかどうかに応じて、前記加算器に入力するカウント値を前記第１のカウンタから出力されるカウント値、前記第２のカウンタから出力されるカウント値、及び前記第３のカウンタから出力されるカウント値の中から選択することを特徴とする請求項３に記載の撮像装置。
13. 平面視で、前記第１の光電変換素子及び前記第２の光電変換素子と重なるように１つのマイクロレンズが設けられていることを特徴とする請求項１～１２のいずれか１項に記載の撮像装置。
14. 請求項１～１３のいずれか１項に記載の撮像装置と、
    前記撮像装置から出力される信号を処理する処理装置と、
    を有することを特徴とする撮像システム。
15. 移動体であって、
    請求項１～１３のいずれか１項に記載の撮像装置と、
    移動装置と、
    前記撮像装置から出力される信号から情報を取得する処理装置と、
    前記情報に基づいて前記移動装置を制御する制御装置と、
    を有することを特徴とする移動体。
16. 第１のカウンタと、
    第２のカウンタと、
    前記第１のカウンタのカウント値及び前記第２のカウンタのカウント値が入力される加算器と、
    前記第１のカウンタのカウント値が閾値を超えたことを検知する検知手段と、第１の出力部と、第２の出力部と、を備え、
    前記第１のカウンタのカウント値が前記閾値を超えた後に、前記第１のカウンタは、前記カウント値をリセットしてからカウント動作を継続し、
    前記加算器には、リセットされた後の前記第１のカウンタのカウント値が入力され、前記第１の出力部は、前記第１のカウンタのカウント値又は前記第１のカウンタのカウント値とは別の値を出力し、前記第２の出力部は、前記第２のカウンタのカウント値又は前記第２のカウンタのカウント値とは別の値を出力することを特徴とする信号処理回路。
17. 前記第１のカウンタはｎ（ｎは２以上の整数）ビットであり、
    前記閾値は、前記ｎビットのうちの最上位ビットよりも下位のビットが反転する値であることを特徴とする請求項１６に記載の信号処理回路。
18. 前記検知手段は、前記ｎビットのうちの最上位のビットの信号を伝達する出力線であることを特徴とする請求項１７に記載の信号処理回路。

Images