JP7055727B2 - 撮像素子およびカメラ - Google Patents

Description

本発明は、撮像装置に関する。

従来、撮像領域全体で一律に露光量等の撮像条件を制御する撮像装置が知られている（例えば、特許文献１参照）。
特許文献１ 特開平０８－２２０４４号公報

従来の撮像装置では、撮像領域全体で一律の撮像条件で撮像するので、被写体によっては撮像領域の全ての場所で最適な撮像条件とはならない場合がある。

本発明の第１の態様においては、互いに隣接して設けられた複数の光電変換部を有し、複数の光電変換部の各々に入射した光に応じて生成されたアナログ信号を各々出力する撮像部と、アナログ信号の各々を対応する各々のデジタル信号に変換する信号変換部と、デジタル信号の各々について、上位ビットの少なくともいずれかのビットの状態を判定する判定部と、判定部における各々の判定結果の少なくとも一つに基づいて、複数の光電変換部の撮像条件を制御する制御部とを備える撮像装置を提供する。

本発明の第２の態様においては、画像形成および焦点検出をする撮像装置において、互いに隣接して設けられてデジタル画像の最小構成単位である一の画素信号を構成する２つの光電変換部をそれぞれ含む複数の画素を有し、複数の画素のそれぞれにおける２つの光電変換部の各々に入射した光に応じて生成されたアナログ信号を出力する撮像部と、アナログ信号の各々をデジタル信号に変換する信号変換部と、デジタル信号に基づいて画素値を算出する画像処理部と、デジタル信号に基づいて焦点位置を検出する焦点検出部と、デジタル信号の各々について、上位ビットの状態を判定する判定部と、判定部における各々の判定結果の少なくとも一つに基づいて、２つの光電変換部の電荷蓄積時間を制御する制御部とを備える撮像装置を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係る撮像装置５００の構成の一例を示す図である。 撮影レンズのレンズ特性と、光電変換部１２の出力信号との関係を説明する図である。 撮像装置５００において電荷飽和を防止する制御を説明する図である。 画素１４の構成例を示す図である。 撮像装置５００の動作例を示すタイミングチャートである。 図５に示した撮像装置５００の動作の概要を示すフローチャートである。 撮像装置５００の他の動作例を示すタイミングチャートである。 図７に示した撮像装置５００の動作の概要を示すフローチャートである。 撮像装置５００の他の動作例を示すタイミングチャートである。 図９に示した撮像装置５００の動作の概要を示すフローチャートである。 撮像装置５００の他の構成例において電荷飽和を防止する制御を示す図である。 撮像装置５００の他の構成例において電荷飽和を防止する制御を示す図である。 撮像部１００の他の構成例を示す図である。 撮像部１００の他の構成例を示す図である。 本実施形態に係る撮像素子２００の断面図である。 撮像装置５００のより詳細な構成例を示すブロック図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態に係る撮像装置５００の構成の一例を示す図である。撮像装置５００は、撮像部１００、ＡＤ変換装置２７、第２ラインメモリ２８、判定装置２９、加算装置３２、第１ラインメモリ３６、行走査回路４１、タイミング制御回路５０、第２列走査回路５２、第１列走査回路５１、および制御部６０を備える。撮像部１００は、複数の画素１４を有する。複数の画素１４は、互いに直交するＸ方向およびＹ方向により構成される面において、行列状（マトリックス状）に２次元配置される。なお、Ｘ方向は撮像部１００の行方向であってよく、Ｙ方向は撮像部１００の列方向であってよい。Ｚ方向は、Ｘ方向およびＹ方向に直交する。Ｚ方向は、入射光が被写体から撮像部１００に入射する方向であってよい。

撮像部１００において、画素１４はＮ行×Ｍ列に２次元配置される。なお、ＮおよびＭは自然数である。撮像部１００において、複数の画素１４のそれぞれは、互いに隣接して設けられた複数の光電変換部１２を有する。本例では、複数の画素１４のそれぞれは、一対の光電変換部１２を有する。それぞれの光電変換部１２は、入射光に応じた電荷を蓄積する。これにより、複数の光電変換部１２の各々に入射した光に応じて、アナログ信号が生成される。本明細書において画素１４とは、デジタル画像の最小構成単位である一の画素信号を構成するべく、光電変換部１２等が設けられた領域を指す。

各画素１４における一対の光電変換部１２は、共通の行制御線２１および個別の列信号線２２に接続される。例えば、ｉおよびｊは、１≦ｉ≦Ｎおよび１≦ｊ≦Ｍを満たし、ｉ行の画素１４は、行信号線２１－ｉおよび列制御線２２－ｊａに接続された光電変換部１２－ｉａ、ならびに、行信号線２１－ｉおよび列制御線２２－ｊｂに接続された光電変換部１２－ｉｂを有する。例えば、１つの画素１４は、行制御線２１－１および列信号線２２－１ａに接続された光電変換部１２－１ａ、ならびに、行制御線２１－１および列信号線２２－１ｂに接続された光電変換部１２－１ｂを有する。

なお、画素１４が有する光電変換部１２の数は２つに限られず、３つ以上としてもよい。例えば、他の例において、１つの画素１４が有する光電変換部１２の数は４つである。画素１４は、光電変換部１２に加えて、光電変換部１２において生成された電荷の転送等を制御する複数のトランジスタを有してよい。

撮像部１００には、マイクロレンズアレイが設けられる。マイクロレンズアレイは複数のマイクレンズを含む。マイクロレンズアレイはＺ方向の負側から正側へ入射する光を複数の画素１４へ導くよう撮像部１００に対して設けられる。マイクロレンズアレイにおける１つのマイクロレンズは、一対の光電変換部１２に対して、入射光を導く。

これにより、一対の測距瞳を通過する光束を一対の光電変換部１２に導くことができる。よって、１つの画素１４における一対の光電変換部１２を、被写体の焦点を検出するために用いることができる。また、一対の光電変換部１２を、一の画素信号を形成するために用いることもできる。

各行には、それぞれ行制御線２１が設けられる。行制御線２１の一端は、行走査回路４１の出力端に接続される。各行制御線２１には行走査回路４１から制御信号Ｃ（１）～Ｃ（Ｎ）が出力される。画素１４の一対の光電変換部１２は、同一の行制御線２１により行走査回路４１に接続される。制御信号Ｃ（１）～Ｃ（Ｎ）は後述の転送信号Ｔｘ、リセット信号Ｒおよび選択信号Ｓを有してよい。一対の光電変換部１２は、制御信号Ｃ（１）～Ｃ（Ｎ）に応じて同時に電荷蓄積または信号読出し制御が行なわれる。なお、行走査回路４１はシフトレジスタ等により構成される。行走査回路４１の動作は、タイミング制御回路５０により制御される。

各列には、２本の列信号線２２が設けられる。画素１４における一対の光電変換部１２のうち一方の光電変換部１２－ｉaは、列毎に設けられた２本の列信号線２２のうち一方の列信号線２２－ｊａに接続される。また、他方の光電変換部１２－ｉｂは、列毎に設けられた２本の列信号線２２のうち他方の列信号線２２－ｊｂに接続される。各々の光電変換部１２は、制御信号Ｃ（１）～Ｃ（Ｎ）により制御される。光電変換部１２－１ａから出力されるアナログ信号は列信号線２２－１ａに出力され、光電変換部１２－１ｂから出力されるアナログ信号は列信号線２２－１ｂに出力される。

ＡＤ変換装置２７は、複数のＡＤ変換部２３を有する。１つのＡＤ変換部２３は、１つの列信号線２２に接続される。ＡＤ変換部２３には、列信号線２２に接続された光電変換部１２からアナログ信号が出力される。ＡＤ変換部２３は、光電変換部１２における電荷蓄積量に応じたアナログ信号をデジタル信号に変換する信号変換部の一例である。ＡＤ変換部２３は、タイミング制御回路５０から与えられる制御信号ＴＡ１に応じて、入力されたアナログ信号をデジタル信号に変換して第２ラインメモリ２８へ出力する。

第２ラインメモリ２８は、複数のメモリ２４を有する。１つのメモリ２４は、１つのＡＤ変換部２３に対応して接続される。メモリ２４は、タイミング制御回路５０から与えられる制御信号ＴＭ２により制御されて、ＡＤ変換部２３から出力されるデジタル信号を記憶する。

第２列走査回路５２は、シフトレジスタ等により構成される。第２列走査回路５２の動作は、タイミング制御回路５０により制御される。第２列走査回路５２は、第２ラインメモリ２８における複数のメモリ２４のそれぞれを走査信号ＴＳ２により制御して、複数のメモリ２４に記憶されたデジタル信号を順に第２出力線４９に出力させる。これにより、一対の光電変換部１２（例えば１２－ｉａおよび１２－ｉｂ）から出力されるアナログ信号は、デジタル信号としてシステム制御部５０１へ出力される。当該デジタル信号は、各光電変換部１２についてシリアルに出力される。つまり、各光電変換部１２のデジタル信号を各々独立に測定することができる。システム制御部５０１については後述する。

複数の画素１４における一対の光電変換部１２は、焦点検出に用いることができる。異なる二つの測距瞳から１つの行に設けられた複数の画素１４へ導かれた光束は、右用の複数の光電変換部１２（例えば、光電変換部１２－１ａ、１２－２ａ…１２－ｉａ…等）および左用の複数の光電変換部１２（例えば、光電変換部１２－１ｂ、１２－２ｂ…１２－ｉｂ…等）を用いて、一対の像の強度分布情報に変換される。当該一対の像の強度分布情報を用いて、像ズレ検出演算処理（相関演算処理および位相差検出処理）が行われる。これにより、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行い、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。

判定装置２９は、複数の判定部２５を有する。判定部２５は、１つのＡＤ変換部２３に対応して１つ設けられる。本例では、１つの判定部２５は、１つのＡＤ変換部２３に対応して設けられた１つのメモリ２４に接続される。判定部２５は、メモリ２４に記憶されたデジタル信号のビット値を読み出す。これにより、判定部２５は、対応するＡＤ変換部２３が出力したデジタル信号のビット状態を判定する。判定部２５におけるビット状態の判定の詳細については後述する。

制御部６０には、複数の判定部２５の判定結果が各々出力される。制御部６０は、それぞれの判定部２５における判定結果に基づいて、それぞれの判定部２５に対応する光電変換部１２における撮像条件を、複数の画素１４の行単位で制御する。本例では、一行の画素１４に対して行制御線２１を１つ設けるが、一行の画素１４のそれぞれの画素１４について行制御線２１を１つ設けてもよい。これにより、画素１４毎に撮像条件を制御することができる。また、一行の画素１４のそれぞれの画素１４におけるそれぞれの光電変換部１２について行制御線２１を１つ設けてもよい。これにより、画素１４の光電変換部１２毎に撮像条件を制御することができる。制御部６０の動作の詳細については後述する。

加算装置３２は、複数の加算回路３０を有する。１つの加算回路３０には、ＡＤ変換装置２７における一対のＡＤ変換部２３が接続される。当該一対のＡＤ変換部２３は、１つの画素１４における一対の光電変換部１２に対応して接続されたＡＤ変換部２３である。加算装置３２は、一対のＡＤ変換部２３から出力されるデジタル信号を、タイミング制御回路５０から与えられる制御信号ＴＤ１に応じて加算する。加算回路３０の各々は、加算デジタル信号を、第１ラインメモリ３６へ出力する。

第１ラインメモリ３６は、複数のメモリ３４を有する。１つのメモリ３４は、１つの加算回路３０に対応して接続される。メモリ３４は、加算回路３０から出力される加算デジタル信号を、タイミング制御回路５０から与えられる制御信号ＴＭ１に応じて、デジタル信号として記憶する。これにより、各メモリ３４には、各行に対応する画素１４において、一対の光電変換部１２－ｉａおよび光電変換部１２―ｉｂの出力信号に対応するデジタル信号を加算した加算デジタル信号が記憶される。

第１列走査回路５１は、シフトレジスタ等により構成される。第１列走査回路５１の動作は、タイミング制御回路５０により制御される。第１列走査回路５１は、第１ラインメモリ３６における複数のメモリ３４のそれぞれを走査信号ＴＳ１により制御して、複数のメモリ３４に記憶された加算デジタル信号を順に第１出力線４５に出力させる。これにより、一対の光電変換部１２（例えば１２－ｉａおよび１２－ｉｂ）から出力されるアナログ信号は、加算デジタル信号としてシリアルにシステム制御部５０１へ出力される。加算デジタル信号は、デジタル画像の最小構成単位である一の画素を構成する画像信号となる。

本例においては、各ＡＤ変換部２３において変換したデジタル信号を焦点検出のために第２ラインメモリ２８に記憶し、かつ、記憶したデジタル信号を第２出力線４９にシリアルに出力することができる。加えて、ＡＤ変換部２３において変換した一対のデジタル信号を画像形成のために加算装置３２において加算し、加算デジタル信号を第１ラインメモリ３６に記憶し、かつ、記憶した加算デジタル信号を第１出力線４５にシリアルに出力することができる。

したがって、撮像装置５００は、焦点検出用のデジタル信号と画像形成用の加算デジタル信号とを並列に出力することができる。なお、並列に出力するとは、略同時に出力することを指す。つまり、撮像装置５００は、焦点検出用のデジタル信号と画像形成用の加算デジタル信号とを、時間的にオーバーラップして出力することができる。焦点検出用のデジタル信号と画像用の加算デジタル信号とは、個別の画像処理部と焦点検出部とにおいてそれぞれ処理されるので、焦点検出処理と画像処理とを同時に独立して行なうことができる。

図２は、撮影レンズのレンズ特性と、光電変換部１２の出力信号との関係を説明する図である。図２は、ＰＯ値およびＦ値に応じた（１－１）～（２－３）の６つの状態における光電変換部１２の出力信号を示す。撮影レンズの位置ずれおよび歪等に起因して、光軸から離れた画素１４においては光スポットが画素１４の中央からずれて当たる現象が生じ得る。この現象を評価する指標としてＰＯ値が存在する。光軸から離れた画素１４において光スポットが画素１４の光軸とは反対側に当たる場合をＰＯ値が小さいと称し（例えば（１－１）および（２－１））、光軸から離れた画素１４において光スポットが画素１４の光軸側に当たる場合をＰＯ値が大きいと称する（例えば（１－３）および（２－３））。

（１－１）～（２－３）の横軸は、撮像部１００に設けられた複数の画素１４について、光軸に対する画素１４の距離である像高を示す。なお、当該横軸のゼロ点は光軸に相当する。また、縦軸は、各画素１４における一対の光電変換部１２の出力を示す。（１－１）～（２－３）においては、例として１つの画素１４における一対の光電変換部１２－ｉａおよび１２－ｉｂを用いて説明する。光電変換部１２－ｉａの出力信号を点線で示し、光電変換部１２－ｉｂの出力信号を実線で示す。

また、（１－１）～（２－３）のそれぞれにおいて、破線円で示した位置に対応して、光スポットの位置を示す図および一対の光電変換部１２の出力を示す（（ａ）、（ｂ）および（ｃ））。各（ａ）、（ｂ）および（ｃ）においては、横軸は光の入射角であり、縦軸は光電変換部１２の出力である。各（ａ）、（ｂ）および（ｃ）において、光電変換部１２－ｉａの出力信号を点線で示し、光電変換部１２－ｉｂの出力信号を実線で示す。

通常、撮像部１００におけるマイクロレンズは、光軸に対する画素１４の位置に応じて、画素１４に対してずらして配置される。このように設計することで、ある特定のＰＯ値のレンズに対して、どの位置の画素１４であっても、画素１４の中心に光のスポットが配置される。このように、どの位置の画素１４であっても、画素１４の中心に光スポットがくるＰＯ値を、ＰＯ値ジャストと称する。（１－２）および（２－２）はＰＯ値ジャストを示す図である。

これに対して、ＰＯ値ジャストのレンズよりも、ＰＯ値が小さくなるレンズ、または、ＰＯ値が大きくなるレンズでは、画素１４の位置に応じて、光スポットが画素１４の中心からずれてしまう。（１－１）および（２－１）は、ＰＯ値ジャストよりもＰＯ値が小さい場合を示す図である。また、（１－３）および（２－３）は、ＰＯ値ジャストよりもＰＯ値が大きい場合を示す図である。

画素１４は、一対の光電変換部１２－ｉａおよび１２－ｉｂに分割されるので、光スポットが画素１４の中心からずれる場合、２つの光電変換部１２で、出力信号の大きさに差が生じる。例えば、光軸から離れた位置では、光スポットの大部分が、一方の光電変換部１２に含まれてしまい、当該光電変換部１２の出力信号が非常に大きくなるのに対して、他方の光電変換部１２の出力信号が非常に小さくなる。例えば、（１－１）の（ａ）では、光電変換部１２－ｉａの出力信号が非常に大きくなるのに対して、光電変換部１２－ｉｂの出力信号が非常に小さくなる。

また、Ｆ値が変動すると、像面における光スポット径が変化する。（２－１）、（２－２）および（２－３）は、（１－１）、（１－２）および（１－３）よりもＦ値が小さい場合を示す。Ｆ値が小さいと光スポットの径は大きくなる。この場合、２つの光電変換部１２の出力信号の大きさの差は小さくなる。一方、光軸から離れた位置では、光スポットが、画素１４の領域外にはみ出してしまい、画素１４全体での出力信号の大きさが減少する。

このように、ＰＯ値、Ｆ値等のレンズ特性に応じて、２つの光電変換部１２の出力信号の大きさは変動する。例えば、（１－３）の（ｃ）に示すように、光スポットが一方の光電変換部１２－ｉａにのみ当たり、他方の光電変換部１２－ｉｂには当たらない場合がある。この場合、光電変換部１２－ｉａにおいて光電変換された電荷が、光電変換素子内において飽和しやすくなる。

１つの画素１４における少なくとも一方の光電変換部１２において電荷飽和を生じると、焦点検出用の信号の演算が破綻する場合があり、また、画像形成用の信号としては輝度の階調が小さくなる。それゆえ、光電変換部１２における電荷飽和を防止することは、焦点検出用のデジタル信号と画像形成用の加算デジタル信号とを並列出力する構成に対して、さらに有利な効果を与える。

図３は、撮像装置５００において電荷飽和を防止する制御を説明する図である。撮像装置５００は、例えば静止画または動画を撮像するカメラである。図３において、図１と同じ構成については同一の符号を付した。本例では、１つの行に設けられた複数の画素１４が１つの行制御線２１により同様に制御される。ただし、説明の便宜上、１つの行における１つの画素１４の制御について説明する。

判定部２５は、ＡＤ変換部２３に対応して設けられる。図３においては、ＡＤ変換部２３－１ａは判定部２５－１ａに、ＡＤ変換部２３－１ｂは判定部２５－１ｂに、それぞれ接続される。それぞれの判定部２５は、対応するＡＤ変換部２３が出力するデジタル信号の上位ビットの少なくともいずれかのビットの状態を判定する。つまり、複数の判定部２５は、上位ビットの状態をデジタル信号毎に判定する。

なお、デジタル信号の「上位ビット」は、デジタル信号の各ビットを、対応する電荷蓄積量（または、画像信号の輝度値）の大きさの順に並べた場合に、電荷蓄積量が大きい側の半分のビットである。「対応する電荷蓄積量の大きさ」とは、当該ビットの値が遷移した場合の、電荷蓄積量の変動量の大きさに対応する。例えば、左側のビットから順番に２＾（ｋ－１）の大きさに対応しているＰビットのデジタル信号においては（ただし、ｋはＰから１の自然数であり、最も左側のビットがｋ＝Ｐであり、最も右側のビットがｋ＝１である）、「上位ビット」とは、ｋ＝Ｐ～（Ｐ／２）＋１までのビットを指す。Ｐが奇数の場合、Ｐ／２は小数点以下を切り上げてよく、切り捨ててもよい。

なお、デジタル信号のビットのうち、対応する電荷蓄積量の大きさが最大のビット（上記の例では、ｋ＝Ｐのビット）を最上位ビット（ＭＳＢ）、次に電荷蓄積量が大きいビット（上記の例では、ｋ＝Ｐ－１のビット）をＭＳＢ－１、以下同様に、ＭＳＢ－２、ＭＳＢ－３・・・と称する。

また、デジタル信号の各ビットは、電荷蓄積量（または、画像信号の輝度値）が小さい状態を示す第１の論理値から、大きい状態を示す第２の論理値に遷移する。本例において第１の論理値は「０」であり、第２の論理値は「１」である。

デジタル信号の上位ビットの状態を判定することで、対応する光電変換部１２が所定の電荷蓄積時間で蓄積した電荷蓄積量（すなわち入射光の明るさ）のおおよその値を容易に検出することができる。制御部６０は、複数の判定部２５における各々の判定結果の少なくとも一つが、予め定められた判定結果であることを条件として、複数の光電変換部１２の撮像条件をともに制御する。例えば制御部６０は、判定部２５－１ａの判定結果および判定部２５－１ｂの判定結果の少なくとも一つに基づいて、光電変換部１２－１ａおよび光電変換部１２－１ｂの撮像条件をともに制御する。これにより、光電変換部１２を一行毎に最適な撮像条件が設定することができる。

例えば、デジタル信号の最上位ビットＭＳＢの論理値が「０」の場合、対応する光電変換部１２に対しては、電荷蓄積時間を２倍にしてもデジタル信号が飽和しないと推測される。制御部６０は、デジタル信号のレンジを最大限利用するべく、当該光電変換部１２の電荷蓄積時間をより長く設定する。また、制御部６０は、ＡＤ変換部２３の前段におけるアナログ信号の増幅率を、判定部２５における判定結果に基づいて制御することもできる。このように、制御部６０は、光電変換部１２を一行毎に様々な撮像条件を最適化することができる。撮像条件には、光電変換部１２における電荷蓄積時間、フレームレート、アナログ信号の増幅率以外にも、撮像装置５００において制御可能なパラメータのうち、上記デジタル信号に影響を与える他の条件も含まれる。

また、判定部２５は、最上位ビットＭＳＢ以外の上位ビットの状態を判定してもよい。例えば、判定部２５は、最上位ビットＭＳＢに加え、上位ビットＭＳＢ－１の状態を判定する。これらのビットの論理値がともに「０」の場合、対応する光電変換部１２に対しては、電荷蓄積時間を４倍にしてもデジタル信号が飽和しないと推測される。制御部６０は、当該光電変換部１２の電荷蓄積時間を例えば４倍に設定する。

なお、複数のＡＤ変換部２３は、並行してアナログ信号を読み出し、それぞれデジタル信号に変換する。また、複数の判定部２５は、並行してデジタル信号の上位ビットの状態を判定する。制御部６０は、それぞれの光電変換部１２に対して並行して、電荷蓄積時間等の撮像条件を設定する。

本例では、一行の画素１４に対して行制御線２１を１つ設けるが、一行の画素１４のそれぞれの画素１４について行制御線２１を１つ設けてもよい。これにより、画素１４毎に撮像条件を制御することができる。また、一行の画素１４のそれぞれの画素１４におけるそれぞれの光電変換部１２について行制御線２１を１つ設けてもよい。これにより、画素１４の光電変換部１２毎に撮像条件を制御することができる。

図４は、画素１４の構成例を示す図である。本例において、それぞれの光電変換部１２は、各々一つの、光電変換素子１０４、転送トランジスタ１５２、リセットトランジスタ１５４、増幅トランジスタ１５６、および、選択トランジスタ１５８を有する。１つの行に設けられた複数の画素１４は、同じ構成を有する。ただし、説明の便宜上、１つの行における１つの画素１４について説明する。また、光電変換部１２－１ｂは、光電変換部１２－１ａと同じ構成であるので、以下では光電変換部１２－１ａについて述べる。

転送トランジスタ１５２－１ａのソースおよびドレインはそれぞれ、光電変換素子１０４－１ａの出力端、および、増幅トランジスタ１５６－１ａのゲートに接続される。光電変換素子１０４－１ａの出力端と、転送トランジスタ１５２－１ａのソースとの間の配線における寄生容量は、光電変換素子１０４－１ａが発生した電荷を蓄積する電荷蓄積部として機能する。本例において電荷蓄積部は光電変換素子１０４－１ａの一部である。転送トランジスタ１５２－１ａのゲートには、電荷蓄積部が蓄積した電荷量を転送するか否かを制御する転送信号Ｔｘ（１）が入力される。なお、Ｔｘ（１）は、転送トランジスタ１５２－１ａおよび転送トランジスタ１５２－１ｂに共通に入力される。

リセットトランジスタ１５４－１ａのドレインには基準電圧ＶＤＤが入力され、ソースは増幅トランジスタ１５６－１ａのゲートに接続される。リセットトランジスタ１５４－１ａのゲートには、電荷蓄積部が蓄積した電荷量をリセットするか否かを制御するリセット信号Ｒ（１）が入力される。なお、Ｒ（１）は、リセットトランジスタ１５４－１ａおよび１５４－１ｂに共通に入力される。

増幅トランジスタ１５６－１ａのドレインには基準電圧ＶＤＤが入力され、ソースは選択トランジスタ１５８－１ａのドレインに接続される。増幅トランジスタ１５６－１ａは、転送トランジスタ１５２－１ａから転送された電荷量に応じたアナログの画像信号を出力する。

選択トランジスタ１５８－１ａのゲートには選択信号Ｓ（１）が入力される。ソースはＡＤ変換部２３－１ａに接続されている。転送トランジスタ１５２－１ａは、選択信号Ｓ（１）に応じて、転送トランジスタ１５２－１ａからの画像信号をＡＤ変換部２３－１ａに入力する。なお、Ｓ（１）は、選択トランジスタ１５８－１ａおよび選択トランジスタ１５８－１ｂに共通に入力される。また、これら転送信号Ｔｘ（１）、リセット信号Ｒ（１）、および選択信号Ｓ（１）は、図１における制御信号線２１－２により供給されてよい。

本例においては、１つの光電変換素子１０４に対して１つのＡＤ変換部２３および判定部２５が設けられる。また、それぞれの光電変換部１２に対しては、転送信号Ｔｘ、リセット信号Ｒ、選択信号Ｓが共通に入力される。このため、１つの行毎に光電変換素子１０４におけるデジタル信号の上位ビットの状態を判定して、光電変換素子１０４について一行毎に電荷蓄積時間等の撮像条件を制御することができる。なお、本明細書においては、光電変換素子１０４が蓄積した電荷、および、電荷蓄積時間を、当該光電変換素子１０４が存在する光電変換部１２が蓄積した電荷、および、電荷蓄積時間と称する場合がある。

本例では、一行の画素１４に対して行制御線２１を１つ設けるが、一行の画素１４のそれぞれの画素１４について行制御線２１を１つ設けてもよい。これにより、画素１４毎に撮像条件を制御することができる。また、一行の画素１４のそれぞれの画素１４におけるそれぞれの光電変換部１２について行制御線２１を１つ設けてもよい。これにより、画素１４の光電変換部１２毎に撮像条件を制御することができる。

図５は、撮像装置５００の動作例を示すタイミングチャートである。図５において横軸は時間を示す。縦軸は、一列における光電変換部１２－１ａおよび１２－１ｂ、１２－２ａおよび１２－２ｂ、１２－３ａおよび１２－３ｂ、‥１２－ｉａおよび１２－ｉｂ、１２－（ｉ＋１）ａおよび１２－（ｉ＋１）ｂ、ならびに、１２－Ｎａおよび１２－Ｎｂを示す。なお、１つの画素１４における一対の光電変換部１２（例えば１２－ｉａおよび１２－ｉｂ）は、行制御線２１（例えば２１－ｉ）により同様に制御される。横長の四角の枠は各光電変換部１２に対応するデジタル信号を示す。当該四角枠中の１および０は、当該デジタル信号の各ビットを示す。なお、デジタル信号を示す四角枠の長短にかかわらず、各デジタル信号の桁数は同じである。

本例の撮像装置５００は、予め設定される設定期間内に取得したデジタル信号に基づいて一つの画像を取得する。当該画像は静止画であってよく、動画における１コマの画像であってもよい。

本例の制御部６０は、一行にあるＭ個のデジタル信号の最上位ビットに基づいて、Ｍ個の光電変換部１２の電荷蓄積時間をともに制御する。図５において、各デジタル信号のビットのうち、時間軸で最もマイナス方向寄りに記載されたビットが最上位ビットである。

本例における制御部６０は、それぞれの光電変換部１２の電荷蓄積時間の長さを、予め定められた長さのフレーム単位で制御する。本例において設定期間は、７つのフレームに分割される。

まず、それぞれの光電変換部１２は、共通の長さのフレーム１を電荷蓄積期間として電荷を蓄積する。それぞれのＡＤ変換部２３は、対応する光電変換部１２が蓄積した電荷をデジタル信号に変換する。それぞれの判定部２５は、対応するデジタル信号の最上位ビットの状態を判定する。

制御部６０は、最上位ビットが、電荷蓄積量が小さい状態を示す第１の論理値から、大きい状態を示す第２の論理値に遷移していない場合（すなわち論理値が「０」である場合）に、対応する光電変換部１２の電荷蓄積時間を、予め設定されている電荷蓄積時間より長い時間に設定する。本例の制御部６０は、光電変換部１２－１ａ、１２－１ｂ、１２－２ａ、１２－２ｂ、１２－ｉａ、１２－ｉｂ、１２－Ｎａおよび１２－Ｎｂの電荷蓄積時間を２フレーム分にする。

次に、対応するデジタル信号の最上位ビットが「０」の光電変換部１２は、フレーム２および３を電荷蓄積時間として電荷を蓄積する。対応するＡＤ変換部２３および判定部２５の動作は、フレーム１と同様である。また、制御部６０は、フレーム１においてデジタル信号の最上位ビットが論理値「０」から論理値「１」に遷移している場合に、上記の設定期間が経過するまで、対応する光電変換部１２が蓄積した電荷の読み出しを停止させる。本例では、光電変換部１２－３ａ、１２－３ｂ、１２－（ｉ＋１）ａおよび１２－（ｉ＋１）ｂが蓄積した電荷の読出しを停止させる。ＡＤ変換部２３の読み出し動作を停止させることで、消費電力を低減することができる。また、デジタル信号の最上位ビットが論理値「０」から論理値「１」に遷移した撮像領域の電荷の読み出しを停止させることで、デジタル信号を格納するために用いるメモリの数（容量）を減少させることができる。さらに、メモリ数の減少に伴い後段における画像処理等の演算量を減少させることができる。

制御部６０は、フレーム２およびフレーム３においてデジタル信号の最上位ビットが「０」と判定された光電変換部１２の電荷蓄積時間を更に２倍にする。また、フレーム２および３においてデジタル信号の最上位ビットが「１」と判定されたＡＤ変換部２３は、以降の読み出し動作を停止する。

以上のように、制御部６０は、予め定められた設定期間が経過するまで、それぞれの光電変換部１２に対する電荷蓄積時間の設定を繰り返す。制御部６０は、設定期間内で取得したデジタル信号を用いて、それぞれの光電変換部１２への入射光の明るさ（すなわち、画像信号の輝度値）を算出する。

本例の制御部６０は、設定期間内で取得したデジタル信号を、光電変換部１２毎に積算する。また、制御部６０は、それぞれの光電変換部１２の積算デジタル信号に、それぞれの光電変換部１２の電荷蓄積時間に応じた係数を乗算して、それぞれの光電変換部１２の輝度値を算出する。本例において当該係数は、設定期間の長さを、光電変換部１２の電荷蓄積時間の積算値で除算して算出できる。

例えば、図５の例における光電変換部１２－１ａおよび１２－１ｂについては、フレーム１、フレーム２からフレーム３、フレーム４からフレーム７で取得した３つのデジタル信号を積算する。また、光電変換部１２－１ａおよび１２－１ｂについては、電荷蓄積時間の累積が、設定期間の全期間に渡るので、係数は１になる。光電変換部１２－２ａおよび１２－２ｂについては、フレーム１、フレーム２からフレーム３で取得した２つのデジタル信号を積算する。また、光電変換部１２－２ａおよび１２－２ｂについては、電荷蓄積時間の累積は、設定期間の３／７である。従って、係数は７／３になる。

同様に、光電変換部１２－２ａについては、フレーム１で取得したデジタル信号に、係数７を乗算する。このような処理により、それぞれの光電変換部１２における電荷蓄積時間の累積値の相違を補償して、画像データの輝度値を算出することができる。また、それぞれの光電変換部１２の電荷蓄積時間を最適化して、ＡＤ変換部２３のデジタル値のレンジを最大限に活用できる。これにより、例えば高輝度の被写体に対応して、１つの画素１４における少なくとも一方の光電変換部１２から出力される画像信号の値が大きくなり、デジタル変換後のデジタル信号が飽和することを防ぐことができる。したがって、高輝度の被写体に対しても焦点検出をすることができる。また、例えば低輝度の被写体に対応する光電変換部１２から出力される画像信号の値が小さく、デジタル変換後のデジタル信号における階調差が出ない、いわゆる黒潰れを低減することができる。なお、電荷蓄積時間の初期値（例えばフレーム１の長さ）を十分短くすることで、白とびを防ぐことができる。

本例では、各光電変換部１２について、設定期間内に取得したデジタル信号を積算したが、他の例では、各光電変換部１２について最後に取得したデジタル信号だけを用いて輝度値を算出してよい。この場合、上記係数は、それぞれの光電変換部１２について最後にデジタル信号を取得したときの電荷蓄積時間の長さの比で定まる。例えば光電変換部１２－１ａについては、フレーム４からフレーム７で取得したデジタル信号に係数１を乗算する。光電変換部１２－１ｂについては、フレーム２からフレーム３で取得したデジタル信号に係数４／２＝２を乗算する。光電変換部１２－２ａについては、フレーム１で取得したデジタル信号に係数４／１＝４を乗算する。

また、本例の制御部６０は、デジタル信号の最上位ビットが１になった光電変換部１２に対して、電荷蓄積時間を２倍にしたが、倍率は２倍に限定されない。当該倍率は２倍以下の値であってよく、２倍より大きい値であってもよい。

また、本例の制御部６０は、デジタル信号の最上位ビットだけに基づいて電荷蓄積時間を制御したが、デジタル信号の他の上位ビットに更に基づいて電荷蓄積時間を制御してもよい。この場合、電荷蓄積時間を再設定するときの倍率は、再設定に用いるデジタル信号の上位ビットの桁数に応じて制御してよい。例えば、デジタル信号の最上位ビットＭＳＢおよび上位ビットＭＳＢ－１の上位２桁がともに「０」の場合、制御部６０は、対応する光電変換部１２の電荷蓄積時間を２桁×２＝４倍にする。同様に上位ｐ桁が全て「０」の場合、制御部６０は、対応する光電変換部１２の電荷蓄積時間を２×ｐ倍にしてよい。

また、制御部６０は、デジタル信号が所定の閾値を超えていない場合に、電荷蓄積時間を長く設定してもよい。例えば、制御部６０は、デジタル信号が飽和値の９０％を超えていない場合に、電荷蓄積時間をより長く設定する。この場合、電荷蓄積時間は、２倍に設定してよく、１０／９倍に設定してよく、その他の倍率に設定してもよい。

また、図５の例においては、全ての光電変換部１２の各電荷蓄積時間の始点（図５においては、フレーム１、フレーム２、フレーム４の始点）は同一であるが、当該始点は同一でなくともよい。また、図５の例においては、電荷蓄積時間の長さをフレーム単位で制御したが、フレームの長さを一行毎に変化させてもよい。それぞれの行における電荷蓄積時間の長さは、図４において説明したリセット信号Ｒのタイミングと、選択信号Ｓのタイミングにより制御することができる。

なお本例では、一行の画素１４に対して行制御線２１を１つ設けた例を説明したが、一行の画素１４のそれぞれの画素１４について行制御線２１を１つ設けてもよい。これにより、画素１４毎に撮像条件を制御することができる。また、一行の画素１４のそれぞれの画素１４におけるそれぞれの光電変換部１２について行制御線２１を１つ設けてもよい。これにより、画素１４の光電変換部１２毎に撮像条件を制御することができる。

図６は、図５に示した撮像装置５００の動作の概要を示すフローチャートである。設定期間が始まると、まずＳ６０２において、それぞれの光電変換部１２が所定の電荷蓄積時間で電荷を蓄積する。そして、ＡＤ変換部２３が、電荷蓄積量をデジタル信号に変換する。

Ｓ６０４において、それぞれの判定部２５は、対応する光電変換部１２について、デジタル信号の最上位ビットＭＳＢが「１」か否かを判定する。制御部６０は、最上位ビットＭＳＢが「１」でない光電変換部１２について、電荷蓄積時間を２倍に再設定する（Ｓ６０６）。また、制御部６０は、最上位ビットＭＳＢが「１」である光電変換部１２については、電荷の蓄積および電荷量の読み出しを停止させる（Ｓ６０８）。

Ｓ６１０において、制御部６０は、所定の設定時間が終了したか否かを判定する。設定時間が終了していない場合、Ｓ６０６において再設定した電荷蓄積時間を用いて、Ｓ６０２からの処理を繰り返す。所定の設定時間が終了している場合、処理を終了する。当該処理の終了後、制御部６０は、取得したそれぞれのデジタル信号に基づいて、それぞれの光電変換部１２の輝度値を算出する。

なお、Ｓ６０４の変形例として、制御部６０は、複数の判定部２５の結果に基づいて光電変換部１２の電荷蓄積時間を設定してもよい。例えば、判定部２５が複数の画素１４からなるブロックについて最上位ビットＭＳＢを判定した場合において、制御部６０は、最上位ビットＭＳＢが「１」である光電変換部１２の数が予め定められた数以上である場合に、電荷蓄積時間を設定してよい。当該予め定められた数は、複数の画素１４からなるブロック当たりにおいて、常に最上位ビットＭＳＢが「１」である（常に飽和信号を出す）いわゆる欠陥画素の数よりも大きくしてよい。

また例えば、判定部２５が一行分の画素１４の最上位ビットＭＳＢを判定した場合において、制御部６０は、最上位ビットＭＳＢが「１」である光電変換部１２の数が予め定められた数以上である場合に、電荷蓄積時間を設定してよい。当該予め定められた数は、一行分の画素１４におけるいわゆる欠陥画素の数よりも大きくてよい。また、最上位ビットＭＳＢが「１」である光電変換部１２の数が予め定められた数以上である場合に、制御部６０は、光電変換部１２から出力されるアナログ信号を増幅する増幅率を制御してよい。例えば制御部６０は、光電変換部１２－１ａとＡＤ変換部２３－１ａとの間および光電変換部１２－１ｂとＡＤ変換部２３－１ｂとの間に設けられるアンプの増幅率を制御してよい。なお当該アンプは、ＡＤ変換部２３－１ａの内部に設けられてもよい。当該構成により、いわゆる欠陥画素がある場合において、制御部６０が常に電荷蓄積時間または増幅率等を制御することを防ぐことができる。よって、制御部６０の負荷および消費電力を抑えることができる。

図７は、撮像装置５００の他の動作例を示すタイミングチャートである。本例の制御部６０は、デジタル信号の最上位ビットが、第１の論理値「０」から第２の論理値「１」に遷移している場合に、所定の設定期間が経過するまで、対応する光電変換部１２について電荷蓄積時間の設定を維持する。そして、対応する光電変換部１２に対して当該電荷蓄積時間での電荷の蓄積を繰り返させるとともに、対応するＡＤ変換部２３に当該電荷蓄積時間で蓄積された電荷の読み出しを繰り返させる。他の動作は、図５および図６において説明した例と同様である。

例えば、光電変換部１２－２ａおよび１２－２ｂについては、フレーム２からフレーム３において読み出したデジタル信号の最上位ビットが「１」なので、制御部６０は光電変換部１２－２ａおよび１２－２ｂにおける電荷蓄積時間を２フレーム分に維持して、電荷の蓄積および読み出しを繰り返す。また、光電変換部１２－（ｉ＋１）ａおよび１２－（ｉ＋１）ｂについては、フレーム１において読み出したデジタル信号の最上位ビットが「１」なので、制御部６０は光電変換部１２－（ｉ＋１）ａおよび１２－（ｉ＋１）ｂにおける電荷蓄積時間を１フレーム分に維持して、電荷の蓄積および読み出しを繰り返す。

設定期間が終了した場合、制御部６０は、それぞれの光電変換部１２について、読み出したデジタル信号を積算する。本例では、それぞれの光電変換部１２の累積電荷蓄積時間は等しい。このため、制御部６０は、デジタル信号の積算値に係数を乗算しない。そして、制御部６０は、加算された一対の光電変換部１２（例えば、光電変換部１２－ｉａおよび１２－ｉｂ）のデジタル信号から、それぞれの画素１４について輝度値を算出する。

本例の撮像装置５００は、それぞれの光電変換部１２が、設定期間の全期間に渡って動作する。このため、設定期間内で生じたノイズ等を平均化することができる。また、それぞれの光電変換部１２が動作する期間が同一なので、光電変換部１２間の撮像タイミングを同一にすることができる。

図８は、図７に示した撮像装置５００の動作の概要を示すフローチャートである。本例のフローチャートは、図６に示したフローチャートに対して、Ｓ６０８に代えてＳ６１２を有する点で相違する。本例においては、制御部６０は、最上位ビットＭＳＢが「１」である光電変換部１２については、電荷蓄積時間の設定を維持する（Ｓ６１２）。撮像装置５００は、当該電荷蓄積時間の設定を用いて、所定の設定時間が終了するまで電荷の蓄積および読み出しを繰り返す。

また、撮像装置５００は、図５示した動作と、図７に示した動作とを選択的に実行してよい。撮像装置５００は、ユーザの操作に基づいて、いずれかの動作を選択してよい。また、撮像装置５００は、電池の残量が所定値より少なくなった場合に、図５に示した省電力モードを選択し、電池の残量が所定値以上の場合に、図７に示した高精度モードを選択してよい。

図９は、撮像装置５００の他の動作例を示すタイミングチャートである。本例の制御部６０は、デジタル信号の全てのビットが、第１の論理値「０」から第２の論理値「１」に遷移している場合には、対応する光電変換部１２の電荷蓄積時間を、現在設定されている電荷蓄積時間より短い時間に設定する。つまり、制御部６０は、デジタル信号の最上位ビットが「１」の場合であっても、デジタル信号の全てのビットが「１」になっている場合には、電荷蓄積時間をより短くする。これにより、例えば高輝度の被写体に対応して、１つの画素１４における少なくとも一方の光電変換部１２から出力される画像信号の値が大きくなり、デジタル変換後のデジタル信号が飽和することを防ぐことができる。したがって、高輝度の被写体に対しても焦点検出をすることができる。他の動作は、図５から図８において説明したいずれかの動作例と同様である。

図９の例においては、光電変換部１２－１ａおよび１２－１ｂのデジタル信号の全ビットが、フレーム１において「１」になっている。制御部６０は、光電変換部１２－１ａおよび１２－１ｂの電荷蓄積時間を、１フレーム分よりも短くする。例えば制御部６０は、光電変換部１２－１ａおよび１２－１ｂの電荷蓄積時間を０．５フレーム分にする。制御部６０は、光電変換部１２－１ａおよび１２－１ｂのデジタル信号が飽和（全ビットが「１」の状態）しなくなるまで、光電変換部１２－１ａおよび１２－１ｂの電荷蓄積時間を徐々に短くする。

また、制御部６０は、光電変換部１２－１ａおよび１２－１ｂのデジタル信号の最上位ビットが「０」になった場合、光電変換部１２－１ａおよび１２－１ｂの電荷蓄積時間を長くしてもよい。このとき、すでにデジタル信号が飽和することがわかっている電荷蓄積時間よりも短い時間に設定することが好ましい。例えば、１フレーム分の電荷蓄積時間の場合にデジタル信号が飽和し、０．４フレーム分の電荷蓄積時間の場合にデジタル信号の最上位ビットが「０」になった場合、次の電荷蓄積時間を、０．７フレーム分程度に設定する。図５から図９において説明した動作例において、制御部６０は、新たに設定する電荷蓄積時間の長さを、設定期間の残りを任意の整数で除算することで算出してもよい。

また、制御部６０は、それぞれの光電変換部１２について、飽和したデジタル信号を除外して、デジタル信号を積算してよい。この場合、除外したデジタル信号に対応する電荷蓄積時間の長さに応じた係数を、積算デジタル信号に乗算する。これにより、デジタル信号の飽和による誤差をなくすことができる。

また、制御部６０は、全ての光電変換部１２について、デジタル信号の最上位ビットが「１」となり、且つ、デジタル信号が飽和していないことを条件として、設定期間の経過前に処理を終了してよい。これにより、処理時間を短縮することができる。

図１０は、図９に示した撮像装置５００の動作の概要を示すフローチャートである。本例のフローチャートは、図６または図８に示したフローチャートに対して、Ｓ６１４およびＳ６１６の処理が追加される。デジタル信号の最上位ビットが「１」と判定された場合（Ｓ６０４）、Ｓ６１４において、デジタル信号の全ビットが「１」、すなわち飽和しているか否かを判定する。デジタル信号が飽和している場合、対応する光電変換部１２の電荷蓄積時間を例えば１／２倍にする（Ｓ６１６）。デジタル信号が飽和していない場合、Ｓ６０８以降の処理を実行する。なお、Ｓ６０８に代えて、図８に示したＳ６１２の処理を実行してもよい。

図１１は、撮像装置５００の他の構成例において電荷飽和を防止する制御を示す図である。本例の撮像装置５００は、図１に関連して説明した撮像装置５００の構成に加え、操作部１８６を更に備える。操作部１８６は、ユーザの操作を受け付ける。

制御部６０は、操作部１８６がユーザから第１の操作を受け付けた場合に、図５から図１０に関連して説明したように、設定期間においてそれぞれの光電変換部１２に対する電荷蓄積時間の設定を繰り返して、それぞれの光電変換部１２について電荷蓄積時間の最適設定を予め取得する。ここで、電荷蓄積時間の最適設定とは、最後にデジタル信号を取得したときの電荷蓄積時間を指す。

例えば図５の例では、光電変換部１２－１ａおよび１２－１ｂの電荷蓄積時間の最適設定は４フレーム分であり、光電変換部１２－２ａおよび１２－１ｂの電荷蓄積時間の最適設定は２フレーム分であり、光電変換部１２－３ａおよび１２－３ｂの電荷蓄積時間の最適設定は１フレーム分である。また、第１の操作は、例えば撮像装置５００のシャッターボタンが半押しされた操作である。

制御部６０は、操作部１８６がユーザから第２の操作を受け付けた場合に、電荷蓄積時間の最適設定を用いて撮像部１００に被写体を撮像させる。この場合、制御部６０は、それぞれの光電変換部１２に対して電荷蓄積時間の最適設定を設定して、所定の撮像期間内において当該電荷蓄積時間での電荷の蓄積および読み出しを繰り返す。当該繰り返し回数は１回でもよい。第２の操作は、例えば撮像装置５００のシャッターボタンが全押しされた操作である。

制御部６０は、例えば撮像期間内で取得したデジタル信号を積算することで、それぞれの光電変換部１２の輝度値を算出する。また、制御部６０は、光電変換部１２間における電荷蓄積時間の累積値の差異に応じた係数を、積算デジタル信号に乗算してもよい。本例の撮像装置５００は、それぞれの光電変換部１２の電荷蓄積時間の最適設定を予め取得するので、それぞれの光電変換部１２の輝度値を効率よく算出することができる。

図１２は、撮像装置５００の他の構成例において電荷飽和を防止する制御を示す図である。本例の撮像装置５００は、図１から図１１に関連して説明した撮像装置５００の構成に加え、複数のＡＤ変換部２３に対応して設けられる複数のアンプ１８８を備える。アンプ１８８は、それぞれの光電変換部１２およびＡＤ変換部２３の間に設けられる。アンプ１８８は、対応する光電変換部１２からのアナログの画像信号を増幅して、対応するＡＤ変換部２３に入力する。図１２においては、ＡＤ変換部２３－１およびＡＤ変換部２３－２に対応するアンプ１８８－１およびアンプ１８８－２を示している。なお、アンプ１８８は、対応するＡＤ変換部２３に内蔵されていてもよい。つまり、アンプ１８８およびＡＤ変換部２３が一つの素子として形成されてよい。

制御部６０は、対応するデジタル信号の上位ビットおよび対応する光電変換部１２の電荷蓄積時間に基づいて、それぞれのアンプ１８８における増幅率を独立に制御する。例えば制御部６０は、電荷蓄積時間をより長い時間に再設定した場合に、所定の時間よりも長くなってしまう場合には、電荷蓄積時間を維持して、アンプ１８８における増幅率を増加させる。これにより、電荷蓄積時間が長くなりすぎることを防ぐことができる。

また、制御部６０は、電荷蓄積時間を長くすることで、設定時間内にデジタル信号の最上位ビットが「１」になるかならないかを、デジタル信号の上位ビットに基づいて判別してもよい。制御部６０は、最上位ビットが「１」にならないと判別した場合、アンプ１８８における増幅率を増加させてもよい。例えば、図５の例において、フレーム２からフレーム３において取得したデジタル信号の最上位ビットＭＳＢおよび上位ビットＭＳＢ－１がともに「０」である場合、電荷蓄積時間を２倍しても、デジタル信号の最上位ビットＭＳＢは「０」にならないと予測される。このような場合、制御部６０は、電荷蓄積時間を２倍にしつつ、対応するアンプ１８８の増幅率を２倍に増加させる。また、図９に示した光電変換部１２－１ａのデジタル信号のように、電荷蓄積時間がフレーム長よりも短くなる場合、電荷蓄積時間を維持してアンプ１８８における増幅率を低下させてもよい。

図１３は、撮像部１００の他の構成例を示す図である。本例においては、１つの画素１４における光電変換部１２－１ａと光電変換部１２－１ｂとに応じて、それぞれ異なる行制御線２１が設けられる点が、図１の構成と異なる。例えば、光電変換部１２－１ａには行制御線２１－１ａが接続され、光電変換部１２－１ｂには行制御線２１－１ｂが接続される。これにより、光電変換部１２－１ａと光電変換部１２－１ｂとにおいて、転送信号Ｔｘ（１）、リセット信号Ｒ（１）および選択信号Ｓ（１）を別々のタイミングで制御することができる。

例えば、光電変換部１２－１ａの転送信号Ｔｘ（１）と光電変換部１２－１ｂの転送信号Ｔｘ（１）とのタイミングを異ならせることにより、光電変換部１２－１ａと光電変換部１２－１ｂとの撮像タイミングに時間差を設けることができる。また、光電変換部１２－１ａおよび光電変換部１２－１ｂの転送信号Ｔｘ（１）のタイミング幅を異ならせることにより、光電変換部１２－１ａと１２－１ｂとの電荷蓄積時間に差を設けることができる。

また、この場合に、制御部６０は、判定部２５－１ａの判定結果および判定部２５－１ｂの判定結果の少なくとも一つに基づいて、光電変換部１２－１ａおよび光電変換部１２－１ｂのいずれか一方の撮像条件を制御してもよい。つまり、光電変換部１２－１ａおよび光電変換部１２－１ｂを、異なる撮像条件で制御してもよい。例えば、光電変換部１２－１ａの最上位ビットＭＳＢの論理値が「１」であり、かつ、光電変換部１２－１ｂの最上位ビットＭＳＢの論理値が「０」であると判定された場合、制御部６０は、光電変換部１２－１ａの撮像条件を変更し、かつ、光電変換部１２－１ｂの撮像条件を変更しない。これにより、光電変換部１２－１ａおよび１２－１ｂにおいて撮像条件を最適化することができる。

図１４は、撮像部１００の他の構成例を示す図である。本例においては、１つの画素１４において光電変換部１２を４つ設ける点が図１の構成と異なる。本例においては、光電変換部１２－１ａ－１および光電変換部１２－１ａ－２は共通の列信号線２２－１ａに接続され、光電変換部１２－１ｂ－１および光電変換部１２－１ｂ－２は共通の列信号線２２－１ｂに接続される。なお、光電変換部１２－１ａ－１、１２－１ａ－２、１２－１ｂ－１および１２－１ｂ－２は、共通の制御号線２１－２に接続される。１つの画素１４は４つの光電変換部１２を有するので、１つの画素１４を、Ｘ方向およびＹ方向の焦点検出に用いることができる。

図１５は、本実施形態に係る撮像素子２００の断面図である。本例では、いわゆる裏面照射型の撮像素子２００を示すが、撮像素子２００は裏面照射型に限定されず、表面照射型であってもよい。撮像素子２００は、撮像チップ１１３に積層された積層チップを備える構造であればよい。

撮像チップ１１３において、素子等が形成されるＸ‐Ｙ平面の面積は予め定められている。したがって、撮像チップ１１３において、１列分の画素１４に対して２つのＡＤ変換部２３および２つの判定部２５を全列について設けることには、素子レイアウトおよび配線等についての物理的な制約がある。ＡＤ変換部２３および判定部２５を撮像チップ１１３とは異なる信号処理チップ１１１に設けることにより、当該制約をなくすことができる。

本例の撮像素子２００は、入射光に対応した画像信号を出力する撮像チップと１１３と、画像信号を処理する信号処理チップ１１１と、画像信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有する複数のバンプ１０９により互いに電気的に接続される。本例では、信号処理チップ１１１およびメモリチップ１１２が、上述した積層チップに相当する。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。撮像チップ１１３は、図１から図１４に示した撮像部１００に対応する。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、光に応じた電荷を生成する複数の光電変換素子１０４を有する。撮像チップ１１３は、当該電荷に応じた画像信号を出力する。本例のＰＤ層１０６は、二次元的に配された複数の光電変換素子１０４、および、光電変換素子１０４に対応して設けられたトランジスタ１０５を有する。トランジスタ１０５は、図４における各トランジスタに対応する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、光電変換素子１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２、光電変換素子１０４およびトランジスタ１０５の組が画素の構成単位となる。

カラーフィルタ１０２における入射光の入射側には、それぞれの光電変換素子１０４に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応する光電変換素子１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画像信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの出力配線に対して一つ設けてよく、複数設けてもよい。バンプ１０９の大きさは、光電変換素子１０４のピッチよりも大きくてもよい。また、画素以外の周辺領域において、画素に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、撮像チップ１１３が出力するアナログの画像信号を受け取る。信号処理チップ１１１は、受け取った画像信号に対して所定の信号処理を行い、メモリチップ１１２に出力する。メモリチップ１１２は、信号処理チップ１１１から受け取る信号を保存する。

本例の信号処理チップ１１１には、複数のＡＤ変換部２３および複数の判定部２５が設けられる。また、信号処理チップ１１１には、制御部６０が更に設けられてもよい。それぞれのＡＤ変換部２３は、撮像チップ１１３が出力するアナログの画像信号を、デジタル信号に変換する。信号処理チップ１１１は、当該デジタル信号に対して、補正等の所定の演算を行ってよい。

複数のＡＤ変換部２３の少なくとも一部は、複数の画素が設けられた面と平行なＡＤＣ配置面において、二次元に配置される。例えば、撮像チップ１１３において複数の画素が行方向および列方向に沿って二次元に配置されており、信号処理チップ１１１において複数のＡＤ変換部２３が行方向および列方向に沿って二次元に配置される。複数のＡＤ変換部２３は、信号処理チップ１１１において等間隔に配置されることが好ましい。

また、ＡＤＣ配置面に配置された複数のＡＤ変換部２３のうちの少なくとも二以上のＡＤ変換部２３は並列動作する。並列動作とは、複数のＡＤ変換部２３におけるアナログ－デジタル変換処理が、略同時に行われることを指す。これにより、当該二以上のＡＤ変換部２３が略同時に発熱することとなり、複数のＡＤ変換部２３が独立に動く場合に比べて、温度分布のばらつきを低減することができる。なお、ＡＤＣ配置面に配置された複数のＡＤ変換部２３の全てが略同時に動作することが好ましい。これにより、ＡＤ変換部２３の発熱による温度分布を均等にすることができる。また、複数のＡＤ変換部２３は、信号処理チップ１１１のＡＤＣ配置面において、不均一に配置されてもよい。例えば複数のＡＤ変換部２３は、信号処理チップ１１１のＡＤＣ配置面の中央よりも、端部の方が密度が高くなるように配置されてもよい。

また、複数のＡＤ変換部２３は、信号処理チップ１１１において、Ｚ軸方向における位置が異なる複数のＡＤＣ配置面に配置されてもよい。つまり、信号処理チップ１１１は多層チップであり、複数のＡＤ変換部２３は、異なる層に設けられてよい。この場合においても、複数のＡＤ変換部２３が配置された位置を、単一のＡＤＣ配置面に投影した場合に、それぞれのＡＤ変換部２３が等間隔に配置されることが好ましい。

また、信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図１６は、撮像装置５００のより詳細な構成例を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸（ＯＡ）に沿って入射する被写体光束を撮像部１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像部１００、システム制御部５０１、駆動部５０２、ワークメモリ５０４、操作部１８６、記録部５０５、表示部５０６および駆動部５１４を主に備える。

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１６では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。駆動部５０２は、システム制御部５０１からの指示に従って撮像部１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。本例において駆動部５０２およびシステム制御部５０１は、図１から図１５に関連して説明したＡＤ変換部２３、判定部２５および制御部６０の機能を担う。図１５に示したように、駆動部５０２およびシステム制御部５０１を形成する制御回路の一部は、チップ化されて、撮像部１００に積層されてもよい。

撮像部１００は、第１出力線４５を経由して、加算デジタル信号をシステム制御部５０１の画像処理部５１１へ引き渡す。撮像部１００は、図１から図１５において説明した撮像部１００と同一である。画像処理部５１１は、当該加算デジタル信号に基づいて画素値を算出する。具体的には、画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。

撮像部１００は、第２出力線４９を経由して、デジタル信号をシステム制御部５０１の画像処理部５１１へ引き渡してもよい。画像処理部５１１は、当該デジタル信号に基づいて右目用画素および左目用画素の画素値を算出する。具体的には、画像処理部５１１は、ワークメモリ５０４をワークスペースとして算出した画素値に対して種々の画像処理を施し、画像データを生成する。生成された画像データは、記録部５０５に記録される。

撮像部１００は、第２出力線４９を経由して、デジタル信号をシステム制御部５０１の焦点検出部５１３へ引き渡す。焦点検出部５１３は、デジタル信号に基づいて焦点位置を検出する。焦点検出部５１３は、デジタル信号に基づいて焦点位置を検出する。具体的には、焦点検出部５１３は、右目用および左目用の複数の光電変換部１２に由来するデジタル信号を用いて、一対の像の強度分布情報を生成する。焦点検出部５１３は、当該一対の像の強度分布情報を用いて、像ズレ検出演算処理（相関演算処理および位相差検出処理）を行う。

これにより、焦点検出部５１３は、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量を検出する。さらに、焦点検出部５１３は、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行い、予定結像面に対する現在の結像面の偏差（デフォーカス量）を算出する。駆動部５１４は当該でフォーカス量を用いて撮影レンズ５２０の位置を調節する。

撮像部１００は、第２出力線４９を経由して、デジタル信号をシステム制御部５０１の演算部５１２へ引き渡す。システム制御部５０１の演算部５１２は、各光電変換部１２の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。なお、図１から図１５に関連して説明した制御部６０が、これらの撮像条件を制御してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

１２ 光電変換部、１４ 画素、２１ 行制御線、２２ 列信号線、２３ ＡＤ変換部、２４ メモリ、２５ 判定部、２７ ＡＤ変換装置、２８ 第２ラインメモリ、２９ 判定装置、３０ 加算回路、３２ 加算装置、３４ メモリ、３６ 第１ラインメモリ、４１ 行走査回路、４５ 第１出力線、４９ 第２出力線、５０ タイミング制御回路、５１ 第１列走査回路、５２ 第２列走査回路、６０ 制御部、１００ 撮像部、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ 光電変換素子、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１５２ 転送トランジスタ、１５４ リセットトランジスタ、１５６ 増幅トランジスタ、１５８ 選択トランジスタ、１８６ 操作部、１８８ アンプ、２００ 撮像素子、５００ 撮像装置、５２０ 撮影レンズ、５０１ システム制御部、５０２ 駆動部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部、５１３ 焦点検出部、５１４ 駆動部

Claims (17)

1. 光を光電変換して電荷を生成する光電変換部を有し、前記光電変換部で生成された電荷に基づくアナログ信号を出力する複数の画素と、
   前記画素から出力された前記アナログ信号をデジタル信号に変換するＡＤ変換部と、
   前記ＡＤ変換部で変換された前記デジタル信号の上位ビットに基づいて、前記画素毎に前記画素の撮像条件を制御する制御部と、
   を備える撮像素子。
2. 請求項１に記載の撮像素子において、
   前記制御部は、前記デジタル信号の上位ビットに基づいて、前記画素の電荷蓄積時間、前記画素から前記アナログ信号または前記デジタル信号が出力されるフレームレート、および、前記アナログ信号または前記デジタル信号の増幅率、の少なくとも１つを前記画素毎に制御する撮像素子。
3. 請求項１または２に記載の撮像素子において、
   前記制御部は、前記ＡＤ変換部で変換された前記デジタル信号の上位ビットが第１理論値から第２理論値へ遷移しない場合、前記画素の電荷蓄積時間を予め定められた設定期間よりも長くする撮像素子。
4. 請求項１から３のいずれか一項に記載の撮像素子において、
   前記制御部は、前記ＡＤ変換部で変換された前記デジタル信号の全てのビットが第１理論値から第２理論値へ遷移した場合、前記画素の電荷蓄積時間を予め定められた設定期間よりも短くする撮像素子。
5. 請求項１から４のいずれか一項に記載の撮像素子において、
   前記制御部は、前記ＡＤ変換部で変換された前記デジタル信号の上位ビットが第１理論値から第２理論値へ遷移しない場合、前記アナログ信号または前記デジタル信号の増幅率を大きくする撮像素子。
6. 請求項５に記載の撮像素子において、
   前記制御部は、前記画素の電荷蓄積時間を予め定められた設定期間より長くしても前記ＡＤ変換部で変換された前記デジタル信号の上位ビットが前記第１理論値から前記第２理論値へ遷移しない場合、前記アナログ信号または前記デジタル信号の増幅率を大きくする撮像素子。
7. 請求項１から６のいずれか一項に記載の撮像素子において、
   前記制御部は、前記ＡＤ変換部で変換された前記デジタル信号の全てのビットが第１理論値から第２理論値へ遷移した場合、前記アナログ信号または前記デジタル信号の増幅率を小さくする撮像素子。
8. 請求項７に記載の撮像素子において、
   前記制御部は、前記ＡＤ変換部で変換された前記デジタル信号の全てのビットが前記第１理論値から前記第２理論値へ遷移した場合において、前記画素の電荷蓄積時間を予め定められた設定期間よりも短くすると前記電荷蓄積時間がフレーム長よりも短くなる場合には、前記アナログ信号または前記デジタル信号の増幅率を小さくする撮像素子。
9. 請求項１から８のいずれか一項に記載の撮像素子において、
   前記画素は、マイクロレンズと、前記マイクロレンズを透過した光を光電変換して電荷を生成する複数の前記光電変換部とを有し、複数の前記光電変換部でそれぞれ生成された電荷に基づく複数の前記アナログ信号を出力し、
   前記ＡＤ変換部は、複数の前記アナログ信号を複数の前記デジタル信号にそれぞれ変換し、
   前記制御部は、複数の前記デジタル信号の上位ビットに基づいて、前記画素を制御する撮像素子。
10. 請求項９に記載の撮像素子において、
    前記制御部は、複数の前記デジタル信号の上位ビットに基づいて、複数の前記光電変換部のそれぞれの電荷蓄積時間、前記画素から複数の前記アナログ信号がそれぞれ出力されるフレームレート、および、複数の前記アナログ信号のそれぞれの増幅率、の少なくとも１つをそれぞれ制御する撮像素子。
11. 請求項１から８のいずれか一項に記載の撮像素子において、
    前記画素は、マイクロレンズと、前記マイクロレンズを透過した光を光電変換して電荷を生成する第１光電変換部と第２光電変換部とを有し、前記第１光電変換部で生成された電荷に基づく第１アナログ信号と前記第２光電変換部で生成された電荷に基づく第２アナログ信号とを出力し、
    前記ＡＤ変換部は、前記第１アナログ信号を第１デジタル信号に、前記第２アナログ信号を第２デジタル信号に変換し、
    前記制御部は、前記第１デジタル信号の上位ビットに基づいて、前記画素を制御する撮像素子。
12. 請求項１１に記載の撮像素子において、
    前記制御部は、前記第１デジタル信号の上位ビットに基づいて、前記第１光電変換部の電荷蓄積時間、前記画素から前記第１アナログ信号が出力されるフレームレート、および、前記第１アナログ信号の増幅率、の少なくとも１つを制御し、前記第２デジタル信号の上位ビットに基づいて、前記第２光電変換部の電荷蓄積時間、前記画素から前記第２アナログ信号が出力されるフレームレート、および、前記第２アナログ信号の増幅率、の少なくとも１つを制御する撮像素子。
13. 請求項１から１１のいずれか一項に記載の撮像素子において、
    前記画素が設けられる第１層と、前記制御部が設けられる第２層とが積層される撮像素子。
14. 請求項１から１１のいずれか一項に記載の撮像素子において、
    前記画素が設けられる第１層と、前記ＡＤ変換部が設けられる第２層とが積層される撮像素子。
15. 請求項１から１１のいずれか一項に記載の撮像素子において、
    前記デジタル信号を記憶する記憶部をさらに備え、
    前記画素が設けられる第１層と、前記記憶部が設けられる第２層とが積層される撮像素子。
16. 請求項１から１１のいずれか一項に記載の撮像素子において、
    前記デジタル信号を記憶する記憶部をさらに備え、
    前記画素が設けられる第１層と、前記ＡＤ変換部が設けられる第２層と、前記記憶部が設けられる第３層とが積層される撮像素子。
17. 請求項１から１６のいずれか一項に記載の撮像素子を備えるカメラ。

Images