JP6702351B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

撮像領域全体で一律に露光量等の撮像条件を制御する撮像装置が知られている（例えば、特許文献１参照）。
特許文献１ 特開平０８−２２０４４号公報

従来の撮像装置では、撮像領域全体で一律の撮像条件で撮像するので、被写体によっては撮像領域の全ての場所で最適な撮像条件とはならない場合がある。

本発明の態様においては、第１撮像領域および第２撮像領域を有し、第１撮像領域に入射した光に応じて生成された第１画像信号と、第２撮像領域に入射した光に応じて生成された第２画像信号とを出力する撮像部と、第１画像信号を第１デジタル画像信号に変換する第１信号変換部と、第２画像信号を第２デジタル画像信号に変換する第２信号変換部と、第１デジタル画像信号の上位ビットの少なくともいずれかのビットの状態を判定する第１判定部と、第２デジタル画像信号の上位ビットの少なくともいずれかのビットの状態を判定する第２判定部と、第１判定部の判定結果に基づいて第１撮像領域の撮像条件を制御するとともに、第２判定部の判定結果に基づいて第２撮像領域の撮像条件を制御する制御部とを備える撮像装置を提供する。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係る撮像装置５００の構成の一例を示す図である。 撮像領域１３１の構成例を示す図である。 撮像装置５００の動作例を示すタイミングチャートである。 図３に示した撮像装置５００の動作の概要を示すフローチャートである。 撮像装置５００の他の動作例を示すタイミングチャートである。 図５に示した撮像装置５００の動作の概要を示すフローチャートである。 撮像装置５００の他の動作例を示すタイミングチャートである。 図７に示した撮像装置５００の動作の概要を示すフローチャートである。 撮像装置５００の他の構成例を示す図である。 撮像領域１３１の他の構成例を示す図である。 撮像装置５００の他の構成例を示す図である。 本実施形態に係る撮像素子２００の断面図である。 撮像装置５００のより詳細な構成例を示すブロック図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態に係る撮像装置５００の構成の一例を示す図である。撮像装置５００は、例えば静止画または動画を撮像するカメラである。本例の撮像装置５００は、撮像部１００、複数のＡＤ変換部１８０、複数の判定部１８２、および、制御部１８４を備える。

撮像部１００は、複数の撮像領域１３１を有する。それぞれの撮像領域１３１は、入射光に応じた電荷を蓄積する。それぞれの撮像領域１３１は、入射光を電荷に変換して蓄積する１以上の光電変換部を有する。撮像装置５００は、それぞれの撮像領域１３１が蓄積した電荷量を読み出すことで、入射光に応じた画像信号を生成する。図１においては、第１画像信号を生成する第１撮像領域１３１−１、および、第２画像信号を生成する第２撮像領域１３１−２を示している。第１撮像領域１３１−１は、１以上の第１光電変換部を有しており、第２撮像領域１３１−２は、１以上の第２光電変換部を有する。

ＡＤ変換部１８０は、それぞれの撮像領域１３１に対応して設けられる。図１においては、第１撮像領域１３１−１および第２撮像領域１３１−２に対応する第１ＡＤ変換部１８０−１および第２ＡＤ変換部１８０−２を示している。それぞれのＡＤ変換部１８０は、対応する撮像領域１３１における電荷蓄積量に応じたアナログの画像信号をデジタル画像信号に変換する信号変換部の一例である。第１ＡＤ変換部１８０−１は、第１画像信号を第１デジタル画像信号に変換し、第２ＡＤ変換部１８０−２は、第２画像信号を第２デジタル画像信号に変換する。なお、一つのＡＤ変換部１８０が、複数のＡＤ変換部１８０として機能してもよい。この場合、一つのＡＤ変換部１８０は、それぞれの撮像領域１３１が蓄積した電荷を順番に読み出して、デジタル画像信号に変換する。また、撮像領域１３１に複数の光電変換部が含まれる場合、ＡＤ変換部１８０は、複数の光電変換部が発生した電荷量を順番に読み出して、デジタル画像信号に変換してよい。

判定部１８２は、それぞれのＡＤ変換部１８０に対応して設けられる。図１においては、第１ＡＤ変換部１８０−１および第２ＡＤ変換部１８０−２に対応する第１判定部１８２−１および第２判定部１８０−２を示している。それぞれの判定部１８２は、対応するＡＤ変換部１８０が出力するデジタル画像信号の上位ビットの少なくともいずれかのビットの状態を判定する。つまり、複数の判定部１８２により、上位ビットの状態をデジタル画像信号毎に判定する。

なお、デジタル画像信号の「上位ビット」は、デジタル画像信号の各ビットを、対応する電荷蓄積量（または、画像信号の輝度値）の大きさの順に並べた場合に、電荷蓄積量が大きい側の半分のビットである。「対応する電荷蓄積量の大きさ」とは、当該ビットの値が遷移した場合の、電荷蓄積量の変動量の大きさに対応する。例えば、左側のビットから順番に２＾（ｋ−１）の大きさに対応しているＭビットのデジタル画像信号においては（ただし、ｋはＭから１の整数であり、最も左側のビットがｋ＝Ｍであり、最も右側のビットがｋ＝１である）、「上位ビット」とは、ｋ＝Ｍ〜（Ｍ／２）＋１までのビットを指す。Ｍが奇数の場合、Ｍ／２は小数点以下を切り上げてよく、切り捨ててもよい。

なお、デジタル画像信号のビットのうち、対応する電荷蓄積量の大きさが最大のビット（上記の例では、ｋ＝Ｍのビット）を最上位ビット（ＭＳＢ）、次に電荷蓄積量が大きいビット（上記の例では、ｋ＝Ｍ−１のビット）をＭＳＢ−１、以下同様に、ＭＳＢ−２、ＭＳＢ−３・・・と称する。

また、デジタル画像信号の各ビットは、電荷蓄積量（または、画像信号の輝度値）が小さい状態を示す第１の論理値から、大きい状態を示す第２の論理値に遷移する。本例において第１の論理値は「０」であり、第２の論理値は「１」である。

デジタル画像信号の上位ビットの状態を判定することで、対応する撮像領域１３１（すなわち、当該撮像領域１３１における光電変換部）が所定の電荷蓄積時間で蓄積した電荷蓄積量（すなわち入射光の明るさ）のおおよその値を容易に検出することができる。制御部１８４は、それぞれの判定部１８２における判定結果に基づいて、それぞれの判定部１８２に対応する撮像領域１３１における撮像条件を、撮像領域１３１毎に制御する。例えば制御部１８４は、第１判定部１８２−１の判定結果に基づいて第１撮像領域１３１−１の撮像条件を制御するとともに、第２判定部１８２−２の判定結果に基づいて第２撮像領域１３１−２の撮像条件を制御する。これにより、撮像領域１３１毎に最適な撮像条件が設定することができる。

例えば、デジタル画像信号の最上位ビットＭＳＢの論理値が「０」の場合、対応する撮像領域１３１に対しては、電荷蓄積時間を２倍にしてもデジタル画像信号が飽和しないと推測される。制御部１８４は、デジタル画像信号のレンジを最大限利用するべく、当該撮像領域１３１の電荷蓄積時間をより長く設定する。また、制御部１８４は、ＡＤ変換部１８０の前段におけるアナログ信号の増幅率を、判定部１８２における判定結果に基づいて制御することもできる。このように、制御部１８４は、撮像領域１３１毎に様々な撮像条件を最適化することができる。撮像条件には、光電変換部における電荷蓄積時間、フレームレート、アナログ信号の増幅率以外にも、撮像装置５００において制御可能なパラメータのうち、上記デジタル画像信号に影響を与える他の条件も含まれる。

また、判定部１８２は、最上位ビットＭＳＢ以外の上位ビットの状態を判定してもよい。例えば、判定部１８２は、最上位ビットＭＳＢに加え、上位ビットＭＳＢ−１の状態を判定する。これらのビットの論理値がともに「０」の場合、対応する撮像領域１３１に対しては、電荷蓄積時間を４倍にしてもデジタル画像信号が飽和しないと推測される。制御部１８４は、当該撮像領域１３１の電荷蓄積時間を例えば４倍に設定する。

なお、複数のＡＤ変換部１８０は、並行して画像信号を読み出し、それぞれデジタル画像信号に変換する。また、複数の判定部１８２は、並行してデジタル画像信号の上位ビットの状態を判定する。制御部１８４は、それぞれの撮像領域１３１に対して並行して、電荷蓄積時間等の撮像条件を設定する。

図２は、撮像領域１３１の構成例を示す図である。本例において、それぞれの撮像領域１３１は、一つの光電変換部１０４、転送トランジスタ１５２、リセットトランジスタ１５４、増幅トランジスタ１５６および選択トランジスタ１５８を有する。

転送トランジスタ１５２のソースおよびドレインはそれぞれ、光電変換部１０４の出力端、および、増幅トランジスタ１５６のゲートに接続される。光電変換部１０４の出力端と、転送トランジスタ１５２のソースとの間の配線における寄生容量は、光電変換部１０４が発生した電荷を蓄積する電荷蓄積部として機能する。本例において電荷蓄積部は光電変換部１０４の一部である。転送トランジスタ１５２のゲートには、電荷蓄積部が蓄積した電荷量を転送するか否かを制御する転送信号Ｔｘが入力される。

リセットトランジスタ１５４のドレインには基準電圧ＶＤＤが入力され、ソースは増幅トランジスタ１５６のゲートに接続される。リセットトランジスタ１５４のゲートには、電荷蓄積部が蓄積した電荷量をリセットするか否かを制御するリセット信号Ｒが入力される。

増幅トランジスタ１５６のドレインには基準電圧ＶＤＤが入力され、ソースは選択トランジスタ１５８のドレインに接続される。増幅トランジスタ１５６は、転送トランジスタ１５２から転送された電荷量に応じたアナログの画像信号を出力する。選択トランジスタ１５８のゲートには選択信号Ｓが入力され、ソースはＡＤ変換部１８０に接続されている。転送トランジスタ１５２は、選択信号Ｓに応じて、転送トランジスタ１５２からの画像信号をＡＤ変換部１８０に入力する。

本例においては、一つの光電変換部１０４に対して一つのＡＤ変換部１８０および判定部１８２が設けられる。また、それぞれの撮像領域１３１に対して、転送信号Ｔｘ、リセット信号Ｒ、選択信号Ｓが独立して入力される。このため、光電変換部１０４毎にデジタル画像信号の上位ビットの状態を判定して、光電変換部１０４毎に電荷蓄積時間等の撮像条件を制御することができる。なお、本明細書においては、光電変換部１０４が蓄積した電荷、および、電荷蓄積時間を、当該光電変換部１０４が存在する撮像領域１３１が蓄積した電荷、および、電荷蓄積時間と称する場合がある。

図３は、撮像装置５００の動作例を示すタイミングチャートである。図３において横軸は時間を示す。本例の撮像装置５００は、予め設定される設定期間内に取得したデジタル画像信号に基づいて一つの画像を取得する。当該画像は静止画であってよく、動画における１コマの画像であってもよい。

本例の制御部１８４は、ｎ個のデジタル画像信号の最上位ビットに基づいて、ｎ個の撮像領域１３１の電荷蓄積時間を制御する。図３において、各デジタル画像信号のビットのうち、時間軸で最もマイナス方向寄りに記載されたビットが最上位ビットである。

本例における制御部１８４は、それぞれの撮像領域１３１の電荷蓄積時間の長さを、予め定められた長さのフレーム単位で制御する。本例において設定期間は、７つのフレームに分割される。

まず、それぞれの撮像領域１３１は、共通の長さのフレーム１を電荷蓄積期間として電荷を蓄積する。それぞれのＡＤ変換部１８０は、対応する撮像領域１３１が蓄積した電荷をデジタル画像信号に変換する。それぞれの判定部１８２は、対応するデジタル画像信号の最上位ビットの状態を判定する。

制御部１８４は、最上位ビットが、電荷蓄積量が小さい状態を示す第１の論理値から、大きい状態を示す第２の論理値に遷移していない場合（すなわち論理値が「０」である場合）に、対応する撮像領域１３１の電荷蓄積時間を、予め設定されている電荷蓄積時間より長い時間に設定する。本例の制御部１８４は、当該撮像領域１３１の電荷蓄積時間を２フレーム分にする。

次に、対応するデジタル画像信号の最上位ビットが「０」の撮像領域１３１は、フレーム２および３を電荷蓄積時間として電荷を蓄積する。対応するＡＤ変換部１８０および判定部１８２の動作は、フレーム１と同様である。また、制御部１８４は、フレーム１においてデジタル画像信号の最上位ビットが論理値「０」から論理値「１」に遷移している場合に、上記の設定期間が経過するまで、対応する撮像領域１３１が蓄積した電荷の読み出しを停止させる。ＡＤ変換部１８０の読み出し動作を停止させることで、消費電力を低減することができる。また、デジタル画像信号の最上位ビットが論理値「０」から論理値「１」に遷移した撮像領域の電荷の読み出しを停止させることで、デジタル画像信号を格納するために用いるメモリの数（容量）を減少させることができる。さらに、メモリ数の減少に伴い後段における画像処理等の演算量を減少させることができる。

制御部１８４は、フレーム２および３においてデジタル画像信号の最上位ビットが「０」と判定された撮像領域１３１の電荷蓄積時間を更に２倍にする。また、フレーム２および３においてデジタル画像信号の最上位ビットが「１」と判定されたＡＤ変換部１８０は、以降の読み出し動作を停止する。

以上のように、制御部１８４は、予め定められた設定期間が経過するまで、それぞれの撮像領域１３１に対する電荷蓄積時間の設定を繰り返す。制御部１８４は、設定期間内で取得したデジタル画像信号に基づいて、それぞれの撮像領域１３１への入射光の明るさ（すなわち、画像信号の輝度値）を算出する。

本例の制御部１８４は、設定期間内で取得したデジタル画像信号を、撮像領域１３１毎に積算する。また、制御部１８４は、それぞれの撮像領域１３１の積算デジタル画像信号に、それぞれの撮像領域１３１の電荷蓄積時間に応じた係数を乗算して、それぞれの撮像領域１３１の輝度値を算出する。本例において当該係数は、設定期間の長さを、撮像領域１３１の電荷蓄積時間の積算値で除算して算出できる。

例えば、図３の例における撮像領域１３１−１については、フレーム１、フレーム２−３、フレーム４−７で取得した３つのデジタル画像信号を積算する。また、撮像領域１３１−１については、電荷蓄積時間の累積が、設定期間の全期間に渡るので、係数は１になる。撮像領域１３１−２については、フレーム１、フレーム２−３で取得した２つのデジタル画像信号を積算する。また、撮像領域１３１−２については、電荷蓄積時間の累積は、設定期間の３／７である。従って、係数は７／３になる。

同様に、撮像領域１３１−３については、フレーム１で取得したデジタル画像信号に、係数７を乗算する。このような処理により、それぞれの撮像領域１３１における電荷蓄積時間の累積値の相違を補償して、画像データの輝度値を算出することができる。また、それぞれの撮像領域１３１の電荷蓄積時間を最適化して、ＡＤ変換部１８０のデジタル値のレンジを最大限に活用できる。これにより、例えば高輝度の被写体に対応する撮像領域１３１から出力される画像信号の値が大きく、デジタル変換後のデジタル画像信号が飽和して輝度が一定となる、いわゆる白とびを低減させることができる。また、例えば低輝度の被写体に対応する撮像領域１３１から出力される画像信号の値が小さく、デジタル変換後のデジタル画像信号における階調差が出ない、いわゆる黒潰れを低減することができる。なお、電荷蓄積時間の初期値（例えばフレーム１の長さ）を十分短くすることで、白とびを防ぐことができる。

本例では、各撮像領域１３１について、設定期間内に取得したデジタル画像信号を積算したが、他の例では、各撮像領域１３１について最後に取得したデジタル画像信号だけを用いて輝度値を算出してよい。この場合、上記係数は、それぞれの撮像領域１３１について最後にデジタル画像信号を取得したときの電荷蓄積時間の長さの比で定まる。例えば撮像領域１３１−１については、フレーム４−７で取得したデジタル画像信号に係数１を乗算する。撮像領域１３１−２については、フレーム２−３で取得したデジタル画像信号に係数４／２＝２を乗算する。撮像領域１３１−３については、フレーム１で取得したデジタル画像信号に係数４／１＝４を乗算する。

また、本例の制御部１８４は、デジタル画像信号の最上位ビットが１になった撮像領域１３１に対して、電荷蓄積時間を２倍にしたが、倍率は２倍に限定されない。当該倍率は２倍以下の値であってよく、２倍より大きい値であってもよい。

また、本例の制御部１８４は、デジタル画像信号の最上位ビットだけに基づいて電荷蓄積時間を制御したが、デジタル画像信号の他の上位ビットに更に基づいて電荷蓄積時間を制御してもよい。この場合、電荷蓄積時間を再設定するときの倍率は、再設定に用いるデジタル画像信号の上位ビットの桁数に応じて制御してよい。例えば、デジタル画像信号の最上位ビットＭＳＢおよび上位ビットＭＳＢ−１の上位２桁がともに「０」の場合、制御部１８４は、対応する撮像領域１３１の電荷蓄積時間を２桁×２＝４倍にする。同様に上位ｐ桁が全て「０」の場合、制御部１８４は、対応する撮像領域１３１の電荷蓄積時間を２×ｐ倍にしてよい。

また、制御部１８４は、デジタル画像信号が所定の閾値を超えていない場合に、電荷蓄積時間を長く設定してもよい。例えば、制御部１８４は、デジタル画像信号が飽和値の９０％を超えていない場合に、電荷蓄積時間をより長く設定する。この場合、電荷蓄積時間は、２倍に設定してよく、１０／９倍に設定してよく、その他の倍率に設定してもよい。

また、図３の例においては、全ての撮像領域１３１の各電荷蓄積時間の始点（図３においては、フレーム１、フレーム２、フレーム４の始点）は同一であるが、当該始点は同一でなくともよい。また、図３の例においては、電荷蓄積時間の長さをフレーム単位で制御したが、フレームの長さを撮像領域１３１毎に変化させてもよい。それぞれの撮像領域１３１における電荷蓄積時間の長さは、図２において説明したリセット信号Ｒのタイミングと、選択信号Ｓのタイミングにより制御することができる。

図４は、図３に示した撮像装置５００の動作の概要を示すフローチャートである。設定期間が始まると、まずＳ６０２において、それぞれの撮像領域１３１が所定の電荷蓄積時間で電荷を蓄積する。そして、ＡＤ変換部１８０が、電荷蓄積量をデジタル画像信号に変換する。

Ｓ６０４において、それぞれの判定部１８２は、対応する撮像領域１３１について、デジタル画像信号の最上位ビットＭＳＢが「１」か否かを判定する。制御部１８４は、最上位ビットＭＳＢが「１」でない撮像領域１３１について、電荷蓄積時間を２倍に再設定する（Ｓ６０６）。また、制御部１８４は、最上位ビットＭＳＢが「１」である撮像領域１３１については、電荷の蓄積および電荷量の読み出しを停止させる（Ｓ６０８）。

Ｓ６１０において、制御部１８４は、所定の設定時間が終了したか否かを判定する。設定時間が終了していない場合、Ｓ６０６において再設定した電荷蓄積時間を用いて、Ｓ６０２からの処理を繰り返す。所定の設定時間が終了している場合、処理を終了する。当該処理の終了後、制御部１８４は、取得したそれぞれのデジタル画像信号に基づいて、それぞれの撮像領域１３１の輝度値を算出する。

図５は、撮像装置５００の他の動作例を示すタイミングチャートである。本例の制御部１８４は、デジタル画像信号の最上位ビットが、第１の論理値「０」から第２の論理値「１」に遷移している場合に、所定の設定期間が経過するまで、対応する撮像領域１３１について電荷蓄積時間の設定を維持する。そして、対応する撮像領域１３１における光電変換部１０４に対して当該電荷蓄積時間での電荷の蓄積を繰り返させるとともに、対応するＡＤ変換部１８０に当該電荷蓄積時間で蓄積された電荷の読み出しを繰り返させる。他の動作は、図３および図４において説明した例と同様である。

例えば、撮像領域１３１−２については、フレーム２−３において読み出したデジタル画像信号の最上位ビットが「１」なので、制御部１８４は撮像領域１３１−２における電荷蓄積時間を２フレーム分に維持して、電荷の蓄積および読み出しを繰り返す。また、撮像領域１３１−ｉについては、フレーム１において読み出したデジタル画像信号の最上位ビットが「１」なので、制御部１８４は撮像領域１３１−ｉにおける電荷蓄積時間を１フレーム分に維持して、電荷の蓄積および読み出しを繰り返す。

設定期間が終了した場合、制御部１８４は、それぞれの撮像領域１３１について、読み出したデジタル画像信号を積算する。本例では、それぞれの撮像領域１３１の累積電荷蓄積時間は等しい。このため、制御部１８４は、デジタル画像信号の積算値を、そのまま輝度値として算出してよい。

本例の撮像装置５００は、それぞれの撮像領域１３１が、設定期間の全期間に渡って動作する。このため、設定期間内で生じたノイズ等を平均化することができる。また、それぞれの撮像領域１３１が動作する期間が同一なので、撮像領域１３１間の撮像タイミングを同一にすることができる。

図６は、図５に示した撮像装置５００の動作の概要を示すフローチャートである。本例のフローチャートは、図４に示したフローチャートに対して、Ｓ６０８に代えてＳ６１２を有する点で相違する。本例においては、制御部１８４は、最上位ビットＭＳＢが「１」である撮像領域１３１については、電荷蓄積時間の設定を維持する（Ｓ６１２）。撮像装置５００は、当該電荷蓄積時間の設定を用いて、所定の設定時間が終了するまで電荷の蓄積および読み出しを繰り返す。

また、撮像装置５００は、図３に示した動作と、図５に示した動作とを選択的に実行してよい。撮像装置５００は、ユーザの操作に基づいて、いずれかの動作を選択してよい。また、撮像装置５００は、電池の残量が所定値より少なくなった場合に、図３に示した省電力モードを選択し、電池の残量が所定値以上の場合に、図５に示した高精度モードを選択してよい。

図７は、撮像装置５００の他の動作例を示すタイミングチャートである。本例の制御部１８４は、デジタル画像信号の全てのビットが、第１の論理値「０」から第２の論理値「１」に遷移している場合には、対応する撮像領域１３１の電荷蓄積時間を、現在設定されている電荷蓄積時間より短い時間に設定する。つまり、制御部１８４は、デジタル画像信号の最上位ビットが「１」の場合であっても、デジタル画像信号の全てのビットが「１」になっている場合には、電荷蓄積時間をより短くする。これにより、画像における白とびを防ぐことができる。他の動作は、図３から図６において説明したいずれかの動作例と同様である。

図７の例においては、撮像領域１３１−１のデジタル画像信号の全ビットが、フレーム１において「１」になっている。制御部１８４は、撮像領域１３１−１の電荷蓄積時間を、１フレーム分よりも短くする。例えば制御部１８４は、撮像領域１３１−１の電荷蓄積時間を０．５フレーム分にする。制御部１８４は、撮像領域１３１−１のデジタル画像信号が飽和（全ビットが「１」の状態）しなくなるまで、撮像領域１３１−１の電荷蓄積時間を徐々に短くする。

また、制御部１８４は、撮像領域１３１−１のデジタル画像信号の最上位ビットが「０」になった場合、撮像領域１３１−１の電荷蓄積時間を長くしてもよい。このとき、すでにデジタル画像信号が飽和することがわかっている電荷蓄積時間よりも短い時間に設定することが好ましい。例えば、１フレーム分の電荷蓄積時間の場合にデジタル画像信号が飽和し、０．４フレーム分の電荷蓄積時間の場合にデジタル画像信号の最上位ビットが「０」になった場合、次の電荷蓄積時間を、０．７フレーム分程度に設定する。図３から図７において説明した動作例において、制御部１８４は、新たに設定する電荷蓄積時間の長さを、設定期間の残りを任意の整数で除算することで算出してもよい。

また、制御部１８４は、それぞれの撮像領域１３１について、飽和したデジタル画像信号を除外して、デジタル画像信号を積算してよい。この場合、除外したデジタル画像信号に対応する電荷蓄積時間の長さに応じた係数を、積算デジタル画像信号に乗算する。これにより、デジタル画像信号の飽和による誤差をなくすことができる。

また、制御部１８４は、全ての撮像領域１３１について、デジタル画像信号の最上位ビットが「１」となり、且つ、デジタル画像信号が飽和していないことを条件として、設定期間の経過前に処理を終了してよい。これにより、処理時間を短縮することができる。

図８は、図７に示した撮像装置５００の動作の概要を示すフローチャートである。本例のフローチャートは、図４または図６に示したフローチャートに対して、Ｓ６１４およびＳ６１６の処理が追加される。デジタル画像信号の最上位ビットが「１」と判定された場合（Ｓ６０４）、Ｓ６１４において、デジタル画像信号の全ビットが「１」、すなわち飽和しているか否かを判定する。デジタル画像信号が飽和している場合、対応する撮像領域１３１の電荷蓄積時間を例えば１／２倍にする（Ｓ６１６）。デジタル画像信号が飽和していない場合、Ｓ６０８以降の処理を実行する。なお、Ｓ６０８に代えて、図６に示したＳ６１２の処理を実行してもよい。

図９は、撮像装置５００の他の構成例を示す図である。本例の撮像装置５００は、図１に関連して説明した撮像装置５００の構成に加え、操作部１８６を更に備える。操作部１８６は、ユーザの操作を受け付ける。

制御部１８４は、操作部１８６がユーザから第１の操作を受け付けた場合に、図３から図８に関連して説明したように、設定期間においてそれぞれの撮像領域１３１に対する電荷蓄積時間の設定を繰り返して、それぞれの撮像領域１３１について電荷蓄積時間の最適設定を予め取得する。ここで、電荷蓄積時間の最適設定とは、最後にデジタル画像信号を取得したときの電荷蓄積時間を指す。

例えば図３の例では、撮像領域１３１−１の電荷蓄積時間の最適設定は４フレーム分であり、撮像領域１３１−２の電荷蓄積時間の最適設定は２フレーム分であり、撮像領域１３１−３の電荷蓄積時間の最適設定は１フレーム分である。また、第１の操作は、例えば撮像装置５００のシャッターボタンが半押しされた操作である。

制御部１８４は、操作部１８６がユーザから第２の操作を受け付けた場合に、電荷蓄積時間の最適設定を用いて撮像部１００に被写体を撮像させる。この場合、制御部１８４は、それぞれの撮像領域１３１に対して電荷蓄積時間の最適設定を設定して、所定の撮像期間内において当該電荷蓄積時間での電荷の蓄積および読み出しを繰り返す。当該繰り返し回数は１回でもよい。第２の操作は、例えば撮像装置５００のシャッターボタンが全押しされた操作である。

制御部１８４は、例えば撮像期間内で取得したデジタル画像信号を積算することで、それぞれの撮像領域１３１の輝度値を算出する。また、制御部１８４は、撮像領域１３１間における電荷蓄積時間の累積値の差異に応じた係数を、積算デジタル画像信号に乗算してもよい。本例の撮像装置５００は、それぞれの撮像領域１３１の電荷蓄積時間の最適設定を予め取得するので、それぞれの撮像領域１３１の輝度値を効率よく算出することができる。

図１０は、撮像領域１３１の他の構成例を示す図である。本例においてそれぞれの撮像領域１３１は、光電変換部１０４を複数有する。また、転送トランジスタ１５２、リセットトランジスタ１５４、増幅トランジスタ１５６および選択トランジスタ１５８を、それぞれの光電変換部１０４に対して有する。

本例においては、ＡＤ変換部１８０は、それぞれの撮像領域１３１に含まれる複数の光電変換部１０４が蓄積した電荷を順次読み出してデジタル画像信号に変換する。判定部１８２は、複数の光電変換部１０４に対応するそれぞれのデジタル画像信号の上位ビットの状態を判定する。例えば判定部１８２は、それぞれのデジタル画像信号を平均化した平均デジタル画像信号の上位ビットの状態を判定してよい。

制御部１８４は、判定部１８２における判定結果に基づいて、対応する撮像領域１３１の電荷蓄積時間等の撮像条件を制御する。本例において、撮像領域１３１に含まれるそれぞれの光電変換部１０４における撮像条件は同一である。電荷蓄積時間等の制御方法は、図１から図９に関連して説明した例と同様である。このような構成により、複数の光電変換部１０４を含むそれぞれの撮像領域１３１に対して、適切な撮像条件を設定することができる。

図１１は、撮像装置５００の他の構成例を示す図である。本例の撮像装置５００は、図１から図１０に関連して説明した撮像装置５００の構成に加え、複数のアンプ１８８を備える。アンプ１８８は、それぞれの撮像領域１３１およびＡＤ変換部１８０の間に設けられる。アンプ１８８は、対応する撮像領域１３１からのアナログの画像信号を増幅して、対応するＡＤ変換部１８０に入力する。図１１においては、第１ＡＤ変換部１８０−１および第２ＡＤ変換部１８０−２に対応する第１アンプ１８８−１および第２アンプ１８８−２を示している。なお、アンプ１８８は、対応するＡＤ変換部１８０に内蔵されていてもよい。つまり、アンプ１８８およびＡＤ変換部１８０が一つの素子として形成されてよい。

制御部１８４は、対応するデジタル画像信号の上位ビットおよび電荷蓄積時間に基づいて、それぞれのアンプ１８８における増幅率を独立に制御する。例えば制御部１８４は、電荷蓄積時間をより長い時間に再設定した場合に、所定の時間よりも長くなってしまう場合には、電荷蓄積時間を維持して、アンプ１８８における増幅率を増加させる。これにより、電荷蓄積時間が長くなりすぎることを防ぐことができる。

また、制御部１８４は、電荷蓄積時間を長くすることで、設定時間内にデジタル画像信号の最上位ビットが「１」になるかならないかを、デジタル画像信号の上位ビットに基づいて判別してもよい。制御部１８４は、最上位ビットが「１」にならないと判別した場合、アンプ１８８における増幅率を増加させてもよい。例えば、図３の例において、フレーム２−３において取得したデジタル画像信号の最上位ビットＭＳＢおよび上位ビットＭＳＢ−１がともに「０」である場合、電荷蓄積時間を２倍しても、デジタル画像信号の最上位ビットＭＳＢは「０」にならないと予測される。このような場合、制御部１８４は、電荷蓄積時間を２倍にしつつ、対応するアンプ１８８の増幅率を２倍に増加させる。また、図７に示した撮像領域１３１−１のデジタル画像信号のように、電荷蓄積時間がフレーム長よりも短くなる場合、電荷蓄積時間を維持してアンプ１８８における増幅率を低下させてもよい。

図１２は、本実施形態に係る撮像素子２００の断面図である。本例では、いわゆる裏面照射型の撮像素子２００を示すが、撮像素子２００は裏面照射型に限定されず、表面照射型であってもよい。撮像素子２００は、撮像チップ１１３に積層された積層チップを備える構造であればよい。

本例の撮像素子２００は、入射光に対応した画像信号を出力する撮像チップと１１３と、画像信号を処理する信号処理チップ１１１と、画像信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有する複数のバンプ１０９により互いに電気的に接続される。本例では、信号処理チップ１１１およびメモリチップ１１２が、上述した積層チップに相当する。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。撮像チップ１１３は、図１から図１１に示した撮像部１００に対応する。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、光に応じた電荷を生成する複数の光電変換部１０４を有する。撮像チップ１１３は、当該電荷に応じた画像信号を出力する。本例のＰＤ層１０６は、二次元的に配された複数の光電変換部１０４、および、光電変換部１０４に対応して設けられたトランジスタ１０５を有する。トランジスタ１０５は、図２等における各トランジスタに対応する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、光電変換部１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２、光電変換部１０４およびトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応する光電変換部１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画像信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの出力配線に対して一つ設けてよく、複数設けてもよい。バンプ１０９の大きさは、光電変換部１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、撮像チップ１１３が出力するアナログの画像信号を受け取る。信号処理チップ１１１は、受け取った画像信号に対して所定の信号処理を行い、メモリチップ１１２に出力する。メモリチップ１１２は、信号処理チップ１１１から受け取る信号を保存する。

本例の信号処理チップ１１１には、複数のＡＤ変換部１８０および複数の判定部１８２が設けられる。また、信号処理チップ１１１には、制御部１８４が更に設けられてもよい。それぞれのＡＤ変換部１８０は、撮像チップ１１３が出力するアナログの画像信号を、デジタル画像信号に変換する。信号処理チップ１１１は、当該デジタル画像信号に対して、補正等の所定の演算を行ってよい。

複数のＡＤ変換部１８０の少なくとも一部は、複数の画素が設けられた面と平行なＡＤＣ配置面において、二次元に配置される。例えば、撮像チップ１１３において複数の画素が行方向および列方向に沿って二次元に配置されており、信号処理チップ１１１において複数のＡＤ変換部１８０が行方向および列方向に沿って二次元に配置される。複数のＡＤ変換部１８０は、信号処理チップ１１１において等間隔に配置されることが好ましい。

また、ＡＤＣ配置面に配置された複数のＡＤ変換部１８０のうちの少なくとも二以上のＡＤ変換部１８０は並列動作する。並列動作とは、複数のＡＤ変換部１８０におけるアナログ−デジタル変換処理が、略同時に行われることを指す。これにより、当該二以上のＡＤ変換部１８０が略同時に発熱することとなり、複数のＡＤ変換部１８０が独立に動く場合に比べて、温度分布のばらつきを低減することができる。なお、ＡＤＣ配置面に配置された複数のＡＤ変換部１８０の全てが略同時に動作することが好ましい。これにより、ＡＤ変換部１８０の発熱による温度分布を均等にすることができる。また、複数のＡＤ変換部１８０は、信号処理チップ１１１のＡＤＣ配置面において、不均一に配置されてもよい。例えば複数のＡＤ変換部１８０は、信号処理チップ１１１のＡＤＣ配置面の中央よりも、端部のほうが密度が高くなるように配置されてもよい。

また、複数のＡＤ変換部１８０は、信号処理チップ１１１において、Ｚ軸方向における位置が異なる複数のＡＤＣ配置面に配置されてもよい。つまり、信号処理チップ１１１は多層チップであり、複数のＡＤ変換部１８０は、異なる層に設けられてよい。この場合においても、複数のＡＤ変換部１８０が配置された位置を、単一のＡＤＣ配置面に投影した場合に、それぞれのＡＤ変換部１８０が等間隔に配置されることが好ましい。

また、信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図１３は、撮像装置５００のより詳細な構成例を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像部１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像部１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１３では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。駆動部５０２は、システム制御部５０１からの指示に従って撮像部１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。本例において駆動部５０２およびシステム制御部５０１は、図１から図１２に関連して説明したＡＤ変換部１８０、判定部１８２および制御部１８４の機能を担う。図１２に示したように、駆動部５０２およびシステム制御部５０１を形成する制御回路の一部は、チップ化されて、撮像部１００に積層されてもよい。

撮像部１００は、画像信号をシステム制御部５０１の画像処理部５１１へ引き渡す。撮像部１００は、図１から図１２において説明した撮像部１００と同一である。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。なお、上記ＡＥセンサに用いられる画素を撮像部１００内に設けてもよく、この場合には当該撮像部１００とは別個の測光部５０３を設けなくてもよい。また、図１から図１２に関連して説明した制御部１８４が、これらの撮像条件を制御してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像部、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ 光電変換部、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１３１ 撮像領域、１５２ 転送トランジスタ、１５４ リセットトランジスタ、１５６ 増幅トランジスタ、１５８ 選択トランジスタ、１８０ ＡＤ変換部、１８２ 判定部、１８４ 制御部、１８６ 操作部、１８８ アンプ、２００ 撮像素子、５００ 撮像装置、５２０ 撮影レンズ、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部

Claims (20)

1. 被写体を撮像する撮像部と前記撮像部からの信号をデジタル値に変換する変換部とを有する撮像素子と、
   前記変換部でデジタル値に変換された前記信号の上位ビット値が第１論理値から第２論理値に遷移していない場合、前記撮像部に設定されている撮像条件を変更する制御部と、を備え、
   前記撮像部は、少なくとも１つの画素が配置される撮像領域を複数有し、
   前記制御部は、前記撮像領域毎に撮像条件を設定可能に構成される撮像装置。
2. 前記制御部は、前記信号と、前記撮像条件が変更された後に前記撮像部から出力された信号と、を積算する請求項１に記載の撮像装置。
3. 前記制御部は、前記変換部でデジタル値に変換された前記信号の最上位ビット値が第１論理値から第２論理値に遷移していない場合、前記撮像部に設定されている撮像条件を変更する請求項１又は請求項２に記載の撮像装置。
4. 前記撮像素子は、前記信号を増幅する増幅部を有し、
   前記制御部は、前記変換部でデジタル値に変換された前記信号の上位ビット値が第１論理値から第２論理値に遷移していない場合、前記増幅部の増幅率を制御する請求項１から請求項３のいずれか一項に記載の撮像装置。
5. 前記画素は、光を電荷に変換する光電変換部と前記光電変換部の電荷を転送する転送部とを有し、
   前記制御部は、前記変換部でデジタル値に変換された前記信号の上位ビット値が第１論理値から第２論理値に遷移していない場合、前記転送部の電荷を転送するタイミングを制御する請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 前記撮像素子は、複数の前記変換部が配置される請求項１から請求項５のいずれか一項に記載の撮像装置。
7. 複数の前記変換部は、前記撮像領域毎にそれぞれ配置される請求項６に記載の撮像装置。
8. 前記撮像素子は、前記撮像部が配置される撮像チップと、前記変換部の少なくとも一部の回路が配置される信号処理チップと、を有する請求項１から請求項７のいずれか一項に記載の撮像装置。
9. 前記撮像チップは、前記信号処理チップにより積層されている請求項８に記載の撮像装置。
10. 前記撮像素子は、前記変換部でデジタル値に変換された前記信号を記憶するメモリ部が配置されるメモリチップを有する請求項８又は請求項９に記載の撮像装置。
11. 前記信号処理チップは、前記メモリチップにより積層されている請求項１０に記載の撮像装置。
12. 光を電荷に変換する光電変換部と前記光電変換部で変換された電荷を転送するための転送部とを有する複数の画素と、
    前記複数の画素のうち第１画素に接続され、アナログ信号をデジタル値に変換する変換部と、
    前記変換部でデジタル値に変換された、前記第１画素から読み出された第１信号の上位ビット値が、前記第１信号よりも前に前記第１画素から読み出され、前記変換部でデジタル値に変換された第２信号の上位ビット値に対して、論理値の遷移がない場合、前記第１画素が有する前記転送部の電荷を転送するタイミングを、前記複数の画素のうち前記第１画素とは異なる第２画素が有する前記転送部の電荷を転送するタイミングとは異なるタイミングになるように変更する制御部と、
    を備える撮像素子。
13. 前記制御部は、前記第１信号と、前記第１画素が有する前記転送部の電荷を転送するタイミングが変更された後に前記第１画素から読み出された第３信号と、を積算する請求項１２に記載の撮像素子。
14. 前記複数の画素は、撮像チップに配置され、
    前記変換部は、前記撮像チップとは異なる信号処理チップに配置される請求項１２又は請求項１３に記載の撮像素子。
15. 前記撮像チップは、前記信号処理チップにより積層される請求項１４に記載の撮像素子。
16. 前記複数の画素は、前記撮像チップにおいて第１方向と前記第１方向と交差する第２方向とにそれぞれ複数配置され、
    前記変換部は、前記信号処理チップにおいて前記第１方向と前記第２方向とにそれぞれ複数配置される請求項１４又は請求項１５に記載の撮像素子。
17. 前記制御部は、前記信号処理チップに配置される請求項１４から請求項１６のいずれか一項に記載の撮像素子。
18. 請求項１２から請求項１７のいずれか一項に記載の撮像素子を備える撮像装置。
19. 複数の画素と、前記複数の画素からの信号をデジタル値に変換する変換部と、を有する撮像素子と、
    前記複数の画素のうち少なくとも第１画素が配置される第１撮像領域と、前記複数の画素のうち少なくとも第２画素が配置される第２撮像領域と、に対してそれぞれ異なる撮像条件を設定可能な制御部と、を備え、
    前記制御部は、前記変換部でデジタル値に変換された前記信号の上位ビット値が第１論理値から第２論理値に遷移していない場合、前記第１撮像領域と前記第２撮像領域とのうち、少なくとも一方の撮像領域において設定されている撮像条件を変更する撮像装置。
20. 光を電荷に変換する第１光電変換部と、
    光を電荷に変換する第２光電変換部と、
    前記第１光電変換部の電荷を転送する第１転送部と、
    前記第２光電変換部の電荷を転送する第２転送部と、
    前記第１転送部により前記第１光電変換部から転送される電荷に基づく第１信号をデジタル値に変換する変換部と、
    前記第１転送部により前記第１光電変換部の電荷を転送するタイミングと前記第２転送部により前記第２光電変換部の電荷を転送するタイミングとが異なるタイミングとなるように設定可能な制御部と、を備え、
    前記制御部は、前記変換部でデジタル値に変換された前記第１信号の上位ビット値が、前記第１信号よりも前において前記第１光電変換部から転送された電荷に基づく信号であって前記変換部でデジタル値に変換された第２信号の上位ビット値に対して、論理値の遷移がない場合、前記第１転送部により前記第１光電変換部から電荷を転送するタイミングを、前記第２転送部により前記第２光電変換部から電荷を転送するタイミングとは異なるタイミングになるように変更する撮像素子。

Images