JPWO2017141847A1 - 固体撮像装置および撮像装置 - Google Patents

Abstract

固体撮像装置（１）は、複数の画素（３）の各々に、長時間露光させて第一ゲインで電荷を電圧に変換させることにより第一画素信号を出力させ、短時間露光させて第一ゲインより小さい第二ゲインで電荷を電圧に変換させることにより第二画素信号を出力させる制御部（２０）と、第一画素信号及び第二画素信号のうち一方の画素信号を、複数の画素（３）の行毎に対応付けて記憶する第２メモリ（８０）と、第一画素信号及び第二画素信号のうち他方の画素信号と、第２メモリ（８０）に記憶された一方の画素信号とを行毎に対応付けて用いて、入射光の光量に対する増幅後の傾きが第一画素信号と線形になるように第二画素信号を増幅し、第一画素信号と増幅後の第二画素信号とを合成するＷＤＲ合成回路（７０）とを備える。

Description

本開示は、固体撮像装置および撮像装置に関する。

従来、列並列型ＡＤ変換器搭載のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）固体撮像装置では、ダイナミックレンジを拡大するために、例えば、特許文献１に示すような方法が提案されている。特許文献１の方法は、露光時間が長い信号と露光時間の短い信号とを合成することにより、ダイナミックレンジを拡大している。

特開２００７−１２４４００号公報

しかしながら、この特許文献１によれば、ダイナミックレンジを拡大することはできるものの、ダーク時の高画質化を図るための技術形態は開示されていない。このため、ダーク時の高画質化とダイナミックレンジの拡大とを両立することができないという問題を有する。

この問題に対して、本開示は、ダーク時の高画質化とダイナミックレンジの拡大とを両立する固体撮像装置および撮像装置を提供する。

上記課題を解決するため本開示における固体撮像装置は、行列状に配置された複数の画素を有する固体撮像装置であって、前記複数の画素の各々は、入射光を光電変換する光電変換部と、光電変換によって生成された電荷を蓄積し、蓄積した電荷を所定のゲインで電圧に変換させる電荷蓄積部とを有し、前記固体撮像装置は、さらに、前記複数の画素の各々に、第一露光モードで露光させて第一ゲインで電荷を電圧に変換させることにより第一画素信号を出力させ、露光時間が前記第一露光モードより短い第二露光モードで露光させて前記第一ゲインより小さい第二ゲインで電荷を電圧に変換させることにより第二画素信号を出力させる制御部と、前記第一画素信号及び前記第二画素信号のうち一方の画素信号を、前記複数の画素の行毎に対応付けて記憶する記憶部と、前記第一画素信号及び前記第二画素信号のうち他方の画素信号と、前記記憶部に記憶された前記一方の画素信号とを行毎に対応付けて用いて、前記入射光の光量に対する増幅後の傾きが前記第一画素信号と線形になるように前記第二画素信号を増幅し、前記第一画素信号と増幅後の前記第二画素信号とを合成する信号処理部とを備えることを特徴とする。

本開示の固体撮像装置および撮像装置によれば、ダーク時の高画質化とダイナミックレンジの拡大とを両立することができる。

図１Ａは、実施の形態に係る固体撮像装置の構成例を示すブロック図である。 図１Ｂは、実施の形態に係る固体撮像装置の他の構成例を示すブロック図である。 図２Ａは、画素の構成を示す回路図である。 図２Ｂは、画素の動作を示すタイミングチャートである。 図３は、固体撮像装置の複数フレーム期間の動作例を示すタイミングチャートである。 図４は、固体撮像装置の１／２水平走査期間の動作例を示すタイミングチャートである。 図５は、固体撮像装置の電子シャッター動作および読み出し動作を示すタイミングチャートである。 図６は、ワイドダイナミックレンジの合成方法を概念的に示す図である。 図７は、長時間露光の画像と短時間露光の画像とを合成して、１つの画像を得る処理を概念的に示す図である。 図８Ａは、実施の形態１の変形例１に係る画素の構成を示す回路図である。 図８Ｂは、画素の動作を示すタイミングチャートである。 図９は、実施の形態１の変形例２に係る固体撮像装置の電子シャッター動作および読み出し動作を示すタイミングチャートである。 図１０Ａは、実施の形態２に係る固体撮像装置の構成例を示すブロック図である。 図１０Ｂは、実施の形態２に係る固体撮像装置の他の構成例を示すブロック図である。 図１１は、画素アレイ部の一部の配列を示す図である。 図１２は、実施の形態２に係る固体撮像装置の電子シャッター動作および読み出し動作を示すタイミングチャートである。 図１３は、長時間露光の画像と短時間露光の画像とを合成して、１つの画像を得る処理を概念的に示す図である。 図１４は、画素アレイ部の変形例の一部の配列を示す図である。 図１５は、実施の形態１に係る固体撮像装置を備えたカメラの構成の一例を示すブロック図である。

（本開示に至った経緯）
本発明者らは、ダイナミックレンジを拡大する方法としては、従来の固体撮像装置に開示された方法とは別に、画素内でＦＤ変換ゲイン（すなわち、ＦＤ（Floating Diffusion）での電荷電圧変換ゲイン）を切替える技術があることに気付いた。

このような方法によれば、例えば明時においては、ＦＤ変換ゲインを低く設定することにより、フォトダイオードの電荷が飽和レベルに達した状態においてもＦＤ部の電圧が飽和しないようにしている。つまり、明るい被写体に対しては、ＦＤ変換ゲインを低くすることにより、被写体に応じた階調を正確に再現して白とびのない画像の出力を可能にする（ダイナミックレンジの拡大）。

一方、例えばダーク時においては、ＦＤ変換ゲインを高く設定することにより、画素増幅トランジスタやアナログ回路で発生するノイズに対して受光量に応じた電圧（画素信号）が大きくなるようにしている。つまり、暗い被写体に対しては、ＦＤ変換ゲインを高くすることにより、ＳＮ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）の高い高画質の画像の出力を可能にしている。

そこで、本発明者らは、露光時間の長い信号と露光時間の短い信号とを合成してダイナミックレンジを拡大する方法に、ＦＤ変換ゲインを切り替える方法を組み合わせることにより、ダーク時の高画質化とダイナミックレンジの拡大とを両立する固体撮像装置等を想到するに至った。

以下、本開示を実施するための形態に係る固体撮像装置を、図面を参照しながら説明する。

但し、必要以上に詳細な説明は省略する場合がある。

例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は当業者が本開示を十分に理解するためのものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。つまり、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、構成要素、構成要素の配置位置および接続形態、処理の順序などは、一例であり、本発明を限定するものではない。

（実施の形態１）
まず、本実施の形態における固体撮像装置の概要について説明する。

本実施の形態における固体撮像装置は、画素内でＦＤ変換ゲインを切替える技術を備え、ワイドダイナミック動作での長時間露光時にはＦＤ変換ゲインを高くしてノイズを良くし、短時間露光時にはＦＤ変換ゲインを低くしてダイナミックレンジを拡大する固体撮像装置について説明する。これにより、固体撮像装置は、ダーク時の高画質化とダイナミックレンジの拡大とを両立する。

［１．固体撮像装置の構成］
図１Ａは、本実施の形態に係る固体撮像装置１の構成例を示すブロック図である。同図に示すように、固体撮像装置１は、画素アレイ部１０、水平走査回路１２、垂直走査回路１４、複数の垂直信号線１９、制御部２０、カラム処理部２６、参照信号生成部２７、出力回路２８、複数のロード電流源３０、ＷＤＲ合成回路７０および第２メモリ（一例として、ラインメモリ）８０を備える。また、固体撮像装置１には、外部からマスタークロック信号の入力を受けるＭＣＬＫ端子、外部との間でコマンドまたはデータを送受信するためのＤＡＴＡ端子、外部へ映像データを送信するためのＤ１端子等、および、これら以外にも電源電圧、グラウンド電圧が供給される端子類が設けられている。

画素アレイ部１０は、行列状に配置された複数の画素３（単位セルとも称する）を有する。複数の画素３は、図１Ａではｎ行ｍ列（ｎおよびｍは自然数）に配置されている。画素３の詳細については後述するが、画素ゲイン（ＦＤ変換ゲイン）を切り替える機能を有し、制御部２０の制御に基づき、露光時間に応じてＦＤ変換ゲインを切り替える。

水平走査回路１２は、カラム処理部２６を構成する複数のカラムＡＤ回路２５内のメモリ２５６（第１メモリ）を順に走査することにより、ＡＤ変換された画素信号を水平信号線１８を介してＷＤＲ（ワイドダイナミックレンジ）合成回路７０または第２メモリ８０に出力する。

垂直走査回路１４は、画素アレイ部１０内の画素３の行毎に設けられた水平走査線群１５（行制御線群とも呼ぶ）を行単位に走査する。これにより、垂直走査回路１４は、画素３を行単位に選択し、選択した行に属する画素３から画素信号をｍ本の垂直信号線１９に同時に出力させる。水平走査線群１５は、画素３の行と同数設けられる。図１Ａでは、ｎ個の水平走査線群１５（図１ＡではＶ１、Ｖ２、・・・、Ｖｎ）が設けられている。水平走査線群１５のそれぞれは、リセット制御信号φＲＳを印加するリセット制御線、読み出し制御信号φＴＲを印加する読み出し制御線、選択制御信号φＳＥＬを印加する選択制御線、および、ＦＤ変換ゲイン制御信号φＧＣを印加するＦＤ変換ゲイン制御線を含む。

垂直信号線１９は、画素アレイ部１０内の画素３の列毎に設けられ、選択された画素行に属する画素３からの画素信号をカラム処理部２６に伝達する。画素アレイ部１０には、Ｈ０〜Ｈｍのｍ本の垂直信号線１９が配置されている。なお、垂直信号線１９のうちの下流側の部分、つまりカラム処理部２６を構成するカラムＡＤ回路２５のマイナス入力端子に接続される部分をＡＤＣ入力線４０と呼ぶ。つまり、画素アレイ部１０とカラム処理部２６との間には、ＡＤＩＮ０〜ＡＤＩＮｍのｍ本のＡＤＣ入力線４０が配置されている。

制御部２０は、種々の制御信号群を生成することにより、固体撮像装置１の全体を制御する。種々の制御信号群には、制御信号ＣＮ１、ＣＮ２、ＣＮ５、ＣＮ８、ＣＮ１０およびカウントクロックＣＫ０が含まれる。例えば、制御部２０は、固体撮像装置１の外部のＤＳＰ（Digital Signal Processor）４５から、端子５ａを介してマスタークロックＭＣＬＫを受け取り、種々の内部クロックを生成し水平走査回路１２や垂直走査回路１４などを制御する。また、例えば、制御部２０は、ＤＳＰ４５と、端子５ｂを介して各種のデータを受け取り、このデータに基づき、種々の制御信号群を生成する。なお、ＤＳＰ４５は固体撮像装置１に内蔵されても良い。

カラム処理部２６は、列毎に設けられたカラムＡＤ回路２５を備える。各カラムＡＤ回路２５は、垂直信号線１９からの画素信号をＡＤ変換する。

カラムＡＤ回路２５は、電圧比較器２５２、カウンタ部２５４、およびメモリ２５６を備える。

電圧比較器２５２は、垂直信号線１９から伝達されたアナログの画素信号と、参照信号生成部２７で生成される、三角波を含む参照信号ＲＡＭＰとを比較し、例えば、前者が後者より大きくなった時に比較結果を示す出力信号を反転する。

カウンタ部２５４は、参照信号ＲＡＭＰ中の三角波の変化開始から電圧比較器２５２の出力信号が反転するまでの時間をカウントする。反転するまでの時間は、アナログ画素信号の値に応じて定まるので、カウント値はデジタル化された画素信号の値になる。

メモリ２５６は、カウンタ部２５４のカウント値つまりデジタルの画素信号を保持する。

参照信号生成部２７は、三角波を含む参照信号ＲＡＭＰを生成し、各カラムＡＤ回路２５内の電圧比較器２５２のプラス入力端子に参照信号ＲＡＭＰを出力する。

ＷＤＲ合成回路７０は、互いに露光時間の異なるデジタルの画素信号であって、水平信号線１８を介して入力されたデジタルの画素信号と、第２メモリ８０に保持されたデジタルの画素信号とを取得する。そして、取得した２つの画素信号を合成して、合成後の画素信号を、出力信号線１７を介して出力回路２８に出力する。なお、ＷＤＲ合成回路７０の詳細については後述する。

第２メモリ８０は、水平信号線１８を介して入力されたデジタルの画素信号を、画素アレイ部１０の行毎に対応付けて記憶する記憶部である。

出力回路２８は、ＷＤＲ合成回路７０から出力された画素信号を固体撮像装置１の外部出力に適した信号に変換して、映像データ端子Ｄ１に出力する。

ロード電流源３０は、垂直信号線１９毎に設けられ、垂直信号線１９に負荷電流を供給する負荷回路である。つまり、ロード電流源３０は、選択された画素３内の増幅トランジスタに垂直信号線１９を介して負荷電流を供給し、当該増幅トランジスタと共にソースフォロア回路を形成する。

このような固体撮像装置１は、例えば、１つの半導体チップに形成される。なお、固体撮像装置１は、複数の半導体チップ（例えば、２つの半導体チップ）に形成されてもよい。図１Ｂは、このような固体撮像装置１の構成例を示すブロック図である。図１Ｂに示すように、本実施の形態に係る固体撮像装置１は、少なくとも複数の画素３が第１の半導体チップ１０１に形成され、少なくとも第２メモリ８０とＷＤＲ合成回路７０が第１の半導体チップ１０１と別の半導体チップである第２の半導体チップ１０２に形成されるようにしてもよい。

［２．画素の構成および動作概要］
次に、ＦＤゲイン切替機能を有する画素３の構成、および、動作の概要について、図２Ａおよび図２Ｂを用いて説明する。

図２Ａは、画素３の構成を示す回路図である。図２Ｂは、画素３の動作を示すタイミングチャートである。

図２Ａに示すように、各画素３は、受光素子（光電変換部）であるフォトダイオードＰＤと、読み出しトランジスタＴ１０と、浮遊拡散層ＦＤと、リセットトランジスタＴ１１と、増幅トランジスタＴ１２と、選択トランジスタＴ１３と、ゲイン制御スイッチ素子ＳＷ１０と、付加容量Ｃｆｄ２とを有する。

フォトダイオードＰＤは、入射光を光電変換する光電変換部であり、受光量（入射光）に応じた電荷を生成する。

読み出しトランジスタＴ１０は、読み出し制御線を介して印加される読み出し制御信号φＴＲによって制御され、フォトダイオードＰＤで生成された信号を読み出す（すなわち転送する）スイッチ素子である。

浮遊拡散層ＦＤは、光電変換によって生成された電荷を蓄積し、蓄積した電荷を所定のゲインで電圧に変換させる電荷蓄積部である。具体的には、浮遊拡散層ＦＤは、読み出しトランジスタＴ１０によって読み出された電荷を一時的に保持する。

リセットトランジスタＴ１１は、浮遊拡散層ＦＤの電圧を電源電圧にリセットするリセットスイッチ素子であり、一端が浮遊拡散層ＦＤに接続され、他端に電源配線５１が接続される。リセットトランジスタＴ１１は、リセット制御線を介して印加されるリセット制御信号φＲＳによって制御される。

増幅トランジスタＴ１２は、浮遊拡散層ＦＤに保持された電荷に対応する電圧を増幅し、当該増幅した信号を画素信号として選択トランジスタＴ１３を介して垂直信号線１９に出力するトランジスタである。

選択トランジスタＴ１３は、選択制御線を介して印加される選択制御信号φＳＥＬによって制御され、増幅トランジスタＴ１２の画素信号を垂直信号線１９に出力するか否かを選択するトランジスタである。

ゲイン制御スイッチ素子ＳＷ１０は、浮遊拡散層ＦＤに接続され、ＦＤ変換ゲイン制御線を介して印加されるＦＤ変換ゲイン制御信号φＧＣによって導通状態（オン状態）と非導通状態（オフ状態）とが切り替えられる、例えばトランジスタである。本実施の形態では、ゲイン制御スイッチ素子ＳＷ１０は、ＦＤ変換ゲイン制御信号φＧＣがＨｉｇｈのときにオン状態となり、Ｌｏｗのときにオフ状態となる。

付加容量Ｃｆｄ２は、ゲイン制御スイッチ素子ＳＷ１０を介して浮遊拡散層ＦＤに接続される容量である。

このように構成された画素３では、図２Ｂに示すような動作によって、画素信号を垂直信号線１９に出力する。なお、図２Ｂに示す動作の詳細については、図４の説明と併せて後述するため、ここでは、画素３内でＦＤ変換ゲインを切り替える動作について主に説明する。

画素３における電荷から電圧への変換ゲイン（画素ゲイン）は、浮遊拡散層ＦＤの容量の逆数に比例し、ＦＤ変換ゲインと称される。つまり、ＦＤ変換ゲインは、ＦＤ変換ゲイン制御信号φＧＣの極性によってゲイン制御スイッチ素子ＳＷ１０のオン状態とオフ状態とが切り替わることにより、切り替えられる。具体的には、図２Ｂに示すように、読み出し時（図中の時刻ｔ１６）にφＧＣ＝Ｌｏｗのときは、ゲイン制御スイッチ素子ＳＷ１０がオフ状態となることにより浮遊拡散層ＦＤの容量がＣｆｄとなる。よって、このとき、ＦＤ変換ゲインは高くなる。一方、読み出し時にφＧＣ＝Ｈｉｇｈのときは、ゲイン制御スイッチ素子ＳＷ１０がオン状態となることにより浮遊拡散層ＦＤの容量がＣｆｄ＋Ｃｆｄ２となる。よって、このとき、ＦＤ変換ゲインは低くなる。

言い換えると、制御部２０は、ゲイン制御スイッチ素子ＳＷ１０をオフ状態とすることにより、第一ゲイン（ＧＨ）で電荷を電圧に変換させ、ゲイン制御スイッチ素子ＳＷ１０をオン状態とすることにより、第二ゲイン（ＧＬ、ただしＧＬ＜ＧＨ）で電荷を電圧に変換させる。具体的には、制御部２０によって画素アレイ部１０を走査する垂直走査回路１４は、ＦＤ変換ゲインが低い場合、選択制御信号φＳＥＬをＨｉｇｈレベルとする期間、ＦＤ変換ゲイン制御信号φＧＣをＨｉｇｈレベルとする。一方、垂直走査回路１４は、ＦＤ変換ゲインが高い場合、上記の期間、ＦＤ変換ゲイン制御信号φＧＣをＬｏｗレベルとする。

［３．固体撮像装置の動作］
以上のように構成された実施の形態１における固体撮像装置１について、以下その動作を説明する。

図３は、固体撮像装置１の複数フレーム期間の動作例を示すタイミングチャートである。同図では、第ｋフレームから第ｋ＋２フレームまでの参照信号ＲＡＭＰの波形を模式的に表している。１フレームは、ｎ行ｍ列の画素３からなる画素アレイ部１０の第１行から第ｎ行に対応するｎ個の水平走査期間（同図中の１／２Ｈの期間）からなる。

図４は、固体撮像装置１の１／２水平走査期間の動作例を示すタイミングチャートである。

１／２水平走査期間のそれぞれにおいて参照信号ＲＡＭＰは、図３および図４に示すようにダウンカウント期間およびアップカウント期間のそれぞれにおいて三角波となる。ただし、好適には、長時間露光時には参照信号ＲＡＭＰの傾斜を緩くしてアナログゲインを高めてノイズを良くして、短時間露光時には参照信号ＲＡＭＰの傾斜を急にしてアナログゲインを低くしてダイナミックレンジを十分に確保する。

ダウンカウント期間は、増幅トランジスタＴ１２から出力されるリセット成分Ｖｒｓｔのレベルを示すリセット用の画素信号をＡＤ変換するための期間である。ダウンカウント期間の開始(三角波の変化開始)から電圧比較器２５２の出力が反転するまでの時間がカウンタ部２５４によりダウンカウントされる。このカウント値はアナログのリセット成分ＶｒｓｔのＡＤ変換結果そのものである。

アップカウント期間は、増幅トランジスタＴ１２から出力される、データ成分（信号成分Ｖｓｉｇ＋リセット成分Ｖｒｓｔ）のレベルを示すデータ用の画素信号をＡＤ変換するための期間である。アップカウント期間の開始(三角波の変化開始)から電圧比較器２５２の出力が反転するまでの時間がカウンタ部２５４によりアップカウントされる。このアップカウントは、アナログのデータ成分（Ｖｓｉｇ＋Ｖｒｓｔ）をデジタル値に変換する。このアップカウントは、リセット成分Ｖｒｓｔを示すダウンカウント値を初期値とするので、アップカウント期間の終了時のカウント値は、データ成分（Ｖｓｉｇ＋Ｖｒｓｔ）からリセット成分Ｖｒｓｔを減算するＣＤＳ（Correlated Double Sampling：相関二重検出）の結果を表す。つまり、アップカウント期間の終了時のカウント値は、信号成分Ｖｓｉｇそのものとなる。このように、カラムＡＤ回路２５は、誤差となる各列のクロックスキューやカウンタディレイ等のばらつきを排除して、真の信号成分Ｖｓｉｇのみを取り出す、つまり、デジタルＣＤＳを行う。

その後、１／２水平走査期間に露光時間の頃なる画素の信号を同様なシーケンスで読み出す動作を行い、１水平走査期間の画像が得られる。

このような１／２水平走査期間の動作、そして、１水平走査期間の動作をｎ行に対して順次行うことにより１フレームの画像が得られる。

なお、例えば、露光時間の異なる画像の枚数をｎ枚とすれば、１／ｎ水平走査期間ごとに露光時間の頃なる画素の信号を同様なシーケンスで読み出す動作を行い、この動作をｎ回行うことにより、１水平走査期間の画像が得られることになる。

ここで、固体撮像装置１のＣＤＳの動作について、図４を参照して説明する。

まず、１回目の読み出しのため、制御部２０は、カウンタ部２５４のカウント値を設定された初期値にリセットさせるとともに、カウンタ部２５４をダウンカウントモードに設定する。ここで、カウント値の初期値は“０”であっても、任意の値であってもよいものとする。

次に、時刻ｔ４において、垂直走査回路１４は、選択制御線に印加するφＳＥＬをＨｉｇｈレベルとし、画素３の選択トランジスタＴ１３をオン状態とする。これにより、選択された画素行Ｖｘが選択されることになる。

また、時刻ｔ４において、垂直走査回路１４は、読み出し制御線に印加するφＴＲをＬｏｗレベルとし読み出しトランジスタＴ１０をオフとした状態で、リセット制御線に印加するφＲＳをＨｉｇｈレベルとしリセットトランジスタＴ１１をオン状態とする。これにより、各画素３の浮遊拡散層ＦＤの電圧が電源電圧にリセットされる。

次に、一定時間が過ぎてから浮遊拡散層ＦＤの電圧がリセットされた時刻ｔ５において、垂直走査回路１４は、リセット制御信号φＲＳをＬｏｗレベルとしリセットトランジスタＴ１１をオフ状態とする。

このとき、各画素３の浮遊拡散層ＦＤの電圧が増幅トランジスタＴ１２によって増幅され、リセット成分Ｖｒｓｔが垂直信号線１９を介して読み出される。このリセット成分Ｖｒｓｔには、電源電圧からの電源変動成分が重畳されている。リセット成分Ｖｒｓｔのダウンカウント時には、制御部２０は、参照信号生成部２７に対して、参照信号ＲＡＭＰを生成するための制御信号ＣＮ４を供給する。これを受けて、参照信号生成部２７は、電圧比較器２５２の一方の入力端子（＋）への比較電圧として、ランプ状に時間変化させた三角波を有する参照信号ＲＡＭＰを出力する。

電圧比較器２５２は、時刻ｔ１０〜時刻ｔ１４において、参照信号ＲＡＭＰの電圧と、各列のＡＤＣ入力線４０（ＡＤＩＮｘ）により伝達されるリセット成分（Ｖｒｓｔ）を示す電圧とを比較する。

また、電圧比較器２５２の入力端子（＋）への参照信号ＲＡＭＰの三角波の変化開始（時刻ｔ１０）と同時に、１回目のカウント動作として、設定された初期値からダウンカウントを開始する。具体的には、電圧比較器２５２における比較時間を、列ごとに配置されたカウンタ部２５４で計測するために、参照信号生成部２７から発せられるランプ波形電圧に同期して（時刻ｔ１０）、制御部２０からカウンタ部２５４のクロック端子にカウントクロックＣＫ０を入力し、１回目のカウント動作として、設定された初期値からダウンカウントを開始する。

また、電圧比較器２５２は、時刻ｔ１０〜時刻ｔ１４において、参照信号生成部２７からの参照信号ＲＡＭＰとＡＤＣ入力線４０により伝達されるＶｘ行のリセット成分の電圧（Ｖｒｓｔ）とを比較し、双方の電圧が同じになったときに、電圧比較器２５２の出力をＨレベルからＬレベルへ反転させる（時刻ｔ１２）。つまり、リセット成分Ｖｒｓｔに応じた電圧と参照信号ＲＡＭＰを比較して、リセット成分Ｖｒｓｔの大きさに対応した時間軸方向の大きさをカウントクロックＣＫ０でカウント（計数）することで、リセット成分Ｖｒｓｔの大きさに対応したカウント値を得る。言い換えれば、カウンタ部２５４は、参照信号ＲＡＭＰ中の三角波形の変化の開始時点をカウンタ部２５４のダウンカウント開始時点として、電圧比較器２５２の出力が反転するまでダウンカウントすることにより、リセット成分Ｖｒｓｔの大きさに対応したカウント値を得る。

また、制御部２０は、所定のダウンカウント期間を経過すると（時刻ｔ１４）、電圧比較器２５２への制御データの供給と、カウンタ部２５４へのカウントクロックＣＫ０の供給とを停止する。これにより、電圧比較器２５２は、参照信号ＲＡＭＰの三角波生成を停止する。

この１回目の読み出し時は、選択されたＶｘ行の画素信号電圧におけるリセット成分Ｖｒｓｔを電圧比較器２５２で検知してカウント動作を行っているので、画素３のリセット成分Ｖｒｓｔを読み出していることになる。

このように、カラムＡＤ回路２５は、垂直信号線１９の出力信号を、ＣＤＳにより読み取る（時刻ｔ１４）。

なお、電源変動成分がマイナスであってもリセット成分Ｖｒｓｔを検出できるように参照信号のオフセット値（時刻ｔ１０）を設定してもよい。

次に、画素信号のリセット成分のＡＤ変換が終了すると、続いて２回目の画素信号の読み出し動作を開始する。また、２回目の読み出し時には、リセット成分Ｖｒｓｔに加えて、画素３ごとの入射光量に応じた信号成分Ｖｓｉｇを読み出す動作を行う。１回目の読み出しと異なる点は、カウンタ部２５４をアップカウントモードに設定する点である。

具体的には、時刻ｔ１６において、垂直走査回路１４は、読み出し制御信号φＴＲをＨｉｇｈレベルとし読み出しトランジスタＴ１０をオン状態とする。これにより、フォトダイオードＰＤに蓄積された全ての光電荷は、浮遊拡散層ＦＤに伝達される。その後、垂直走査回路１４は、読み出し制御信号φＴＲをＬｏｗレベルとし読み出しトランジスタＴ１０をオフ状態とする。

そして、増幅トランジスタＴ１２のデータ成分（Ｖｒｓｔ＋Ｖｓｉｇ）が垂直信号線１９を介して読み出される。

このときも上記１回目の読み出し時と同様に、電源電圧の電源変動成分が垂直信号線１９に重畳される。この状態で、カウンタ部２５４はアップカウントする。

このアップカウント時には、参照信号生成部２７によりランプ状となるように階段状に時間変化させた参照信号ＲＡＭＰが、各列のＡＤＣ入力線４０を介して電圧比較器２５２の一方の入力端子（＋）に入力され、選択された画素行Ｖｘの画素信号成分の電圧との比較を電圧比較器２５２にて行う。

このとき、電圧比較器２５２の一方の入力端子（＋）への参照信号ＲＡＭＰの入力と同時に、電圧比較器２５２における比較時間を、カウンタ部２５４を利用して計測するために、参照信号生成部２７から発せられるランプ波形電圧に同期して（時刻ｔ２０）、カウンタ部２５４は、２回目のカウント動作として、ダウンカウントが停止したカウント値から、アップカウントを開始する。

また、電圧比較器２５２は、上記双方の電圧が同じになったときに、コンパレータ出力をＨレベルからＬレベルへ反転させる（時刻ｔ２３）。

このように、カラムＡＤ回路２５は、垂直信号線１９の出力信号をＣＤＳにより読み取る（時刻ｔ２４）。

つまり、時刻ｔ２０〜時刻ｔ２４では、データ成分（Ｖｒｓｔ＋Ｖｓｉｇ）に応じた電圧信号と参照信号ＲＡＭＰとを比較して、信号成分Ｖｓｉｇの大きさに対応した時間軸方向の大きさをカウントクロックＣＫ０でカウント（計数）することで、信号成分Ｖｓｉｇの大きさに対応したカウント値を得ることができる。言い換えれば、カウンタ部２５４は、参照信号ＲＡＭＰ中の三角波の変化の開始時点をカウンタ部２５４のアップカウント開始時点として、電圧比較器２５２の出力が反転するまでアップカウントすることにより、データ成分（Ｖｒｓｔ＋Ｖｓｉｇ）の大きさに対応したカウント値を得る。

このように、デジタルＣＤＳにより、例えば、カウンタ部２５４の設定を、リセット成分（Ｖｒｓｔ）を読み出すときにはダウンカウント、データ成分（ＶＲＳｔ＋Ｖｓｉｇ）を読み出すときにはアップカウントとする。これにより、カウンタ部２５４内で自動的に減算が行われ、信号成分Ｖｓｉｇに相当するカウント値を得ることができる。

ＡＤ変換されたデータ（信号成分Ｖｓｉｇ）はメモリ２５６に保持される。つまり、カウンタ部２５４の動作前（時刻ｔ３）に、制御部２０からのメモリ転送指示パルスである制御信号ＣＮ８に基づき、前行のＶｘ−１のカウント結果がメモリ２５６に転送される。

以上より、カラムＡＤ回路２５は全ての画素行Ｖｘの画素読み出し時に対してデジタルＣＤＳを実行する。

つまり、本実施の形態に係る固体撮像装置１では、図４に示すように各画素行Ｖｘの画素３の読み出しを行う１／２水平走査期間は、ＡＤ変換するダウンカウント期間とアップカウント期間とで構成される。

［４．電子シャッターと読み出し走査］
次に図５を用いて、実施の形態１における電子シャッターと読み出し走査について説明する。図５は、実施の形態１に係る固体撮像装置１の電子シャッター動作および読み出し動作を示すタイミングチャートである。

なお、同図には、ダーク時における電子シャッター動作が示されている。具体的には、固体撮像装置１は、ダーク時には、長時間露光で画素３が飽和しない範囲で露光時間を最大限に長くする。図５では簡易的に画素アレイ部１０の行数を０行〜９行の合計１０行として示しており、長時間露光の露光時間を６Ｈとして、短時間露光の露光時間を２Ｈとしている。

長時間露光のシャッター動作は、０行目に対しては期間ｔ４で実施して、１行目に対しては期間ｔ５で実施して、というように行順次に行い、９行目に対しては期間ｔ３で実施する。つまり、長時間露光のシャッター動作は、露光時間が所定期間（ここでは６Ｈ）となるように、長時間露光の読み出し動作の当該所定期間前のタイミングで実施する。

長時間露光の読み出し動作は、φＧＣ＝ＬｏｗとしてＦＤ変換ゲインをＧＨとした状態で実施する。具体的には、長時間露光の露光時間を６Ｈとした場合は、０行目に対しては期間ｔ０で実施して、１行目に対しては期間ｔ１で実施して、というように行順次に行い、９行目に対しては期間ｔ９で実施する。

短時間露光のシャッター動作は、０行目に対しては期間ｔ８で実施して、１行目に対しては期間ｔ９で実施して、というように行順次に行い、９行目に対しては期間ｔ７で実施する。つまり、短時間露光のシャッター動作は、露光時間が所定期間（ここでは２Ｈ）となるように、短時間露光の読み出し動作の当該所定期間前のタイミングで実施する。

短時間露光の読み出し動作は、φＧＣ＝ＨｉｇｈとしてＦＤ変換ゲインをＧＬとした状態で実施する。具体的には、短時間露光の露光時間を２Ｈとした場合は、０行目に対しては期間ｔ３で実施して、１行目に対しては期間ｔ４で実施して、というように行順次に行い、９行目に対しては期間ｔ２で実施する。

これら長時間露光の読み出し動作と短時間露光の読み出し動作とは、次のように１水平走査期間の間に実施される。具体的には、本実施の形態では、１水平走査期間の前半に長時間露光の読み出し動作が実施され、１水平走査期間の後半に短時間露光の読み出し動作が実施される。

例えば、期間ｔ０では、長時間露光の０行目のデータをＦＤ変換ゲインをＧＨとした状態で１／２水平走査期間で読み出し、続けて、短時間露光の７行目のデータをＦＤ変換ゲインをＧＬとした状態で１／２水平走査期間で読み出す。期間ｔ１以降、このような長時間露光の読み出し動作と短時間露光の読み出し動作とを行順次に行う。最後に、期間ｔ９では、長時間露光の９行目のデータをＦＤ変換ゲインをＧＨとした状態で１／２水平走査期間で読み出し、続けて、短時間露光の６行目のデータをＦＤ変換ゲインをＧＬとした状態で１／２水平走査期間で読み出す。

このようにして、１垂直走査期間の動作が完了する。つまり、各画素３は、１垂直走査期間の間に、長時間露光のデータ（第一画素信号）および短時間露光のデータ（第二画素信号）の各々が読み出されることになる。

このような電子シャッターの動作および読み出し走査は、制御部２０の制御に基づいて垂直走査回路１４が画素アレイ部１０を走査することによる。すなわち、制御部２０は、画素３に、長時間露光時にはＦＤ変換ゲインを高くさせ、短時間露光時にはＦＤ変換ゲインを低くさせる。具体的には、制御部２０は、複数の画素３の各々に、長時間露光（第一露光モードで露光）させてＧＨ（第一ゲイン）で電荷を電圧に変換させることにより長時間露光のデータ（第一画素信号）を出力させる。また、制御部２０は、複数の画素３の各々に、短時間露光（露光時間が第一露光モードより短い第二露光モードで露光）させてＧＬ（第二ゲイン、ただしＧＬ＜ＧＨ）で電荷を電圧に変換させることにより短時間露光のデータ（第二画素信号）を出力させる。

このようにして出力された長時間露光のデータおよび短時間露光のデータは、ＷＤＲ合成回路７０によって合成される（いわゆるワイドダイナミックレンジ合成）。そこで、以下、ＷＤＲ合成回路７０に関する事項について、詳細に説明する。

［５．ワイドダイナミックレンジの合成方法］
図６は、図５の期間ｔ３における、ワイドダイナミックレンジの合成方法を概念的に示す図である。この期間ｔ３においては、図５に示すように、０行目では短時間露光のデータの読み出し動作を行い、２行目では短時間露光のシャッター動作を行っている。また、３行目では長時間露光のデータの読み出し動作を行い、９行目では長時間露光のシャッター動作を行っている。

また、第２メモリ８０には、この期間ｔ３においては、期間ｔ０〜ｔ３までの間に読み出した０行目〜３行目までの長時間露光のデータが格納されている。

ＷＤＲ合成回路７０は、図６に示すように、ゲイン調整回路７１と合成回路７２とを有し、次のように動作する。まず、ゲイン調整回路７１において、短時間露光のデータと長時間露光のデータとが線形的につながるように増幅する。そして、合成回路７２において、長時間露光のデータと短時間露光のデータとを合成する処理を行う。その後に、ＷＤＲ合成回路７０はホワイトバランスの処理を行う。

このように、ＷＤＲ合成回路７０は、長時間露光のデータ（第一画素信号）および短時間露光のデータ（第二画素信号）を用いて信号処理する信号処理部である。具体的には、ＷＤＲ合成回路７０は、長時間露光のデータおよび短時間露光のデータのうち短時間露光のデータ（他方の画素信号）と、第２メモリ８０（記憶部）に記憶された長時間露光のデータ（一方の画素信号）とを行毎に対応付けて用いる。そして、ＷＤＲ合成回路７０は、入射光の光量に対する増幅後の傾きが長時間露光のデータと線形になるように短時間露光のデータを増幅し、長時間露光のデータと増幅後の短時間露光のデータとを合成する。

具体的には、ＷＤＲ合成回路７０は、ＧＬ（第二ゲイン、すなわち短時間露光時のＦＤ変換ゲイン）に対するＧＨ（第一ゲイン、すなわち長時間露光時のＦＤ変換ゲイン）のゲイン比ＧＨ／ＧＬ、および、短時間露光に対する長時間露光の露光時間比（第二露光モードに対する第一露光モードの露光時間比）に対応する増幅率で、短時間露光のデータを増幅する。

このように構成された本実施の形態に係る固体撮像装置１は、ＦＤ変換ゲインを切り替えずに露光時間の異なる複数の画像を合成する従来の固体撮像装置に比べて、ダーク時の高画質化とダイナミックレンジの拡大とを両立することができる。このことの理解を容易にするために、図７を用いて、従来の固体撮像装置（図中の比較例）と比べながら説明する。

図７は、長時間露光の画像と短時間露光の画像とを合成して、１つの画像を得る処理を概念的に示す図である。

ここでは、長時間露光の露光時間をＥＬ、短時間露光の露光時間をＥＳ、高いＦＤ変換ゲイン（長時間露光時のＦＤ変換ゲイン）をＧＨ（第一ゲイン）、低いＦＤ変換ゲイン（短時間露光時のＦＤ変換ゲイン）をＧＬ（第二ゲイン）としている。

また、ダーク時から明時まで、長時間露光と短時間露光との露光時間の比率は同一としている。つまり、ダーク時は、比率を維持した状態で、画素３が飽和しない範囲で長時間露光の露光時間を最大限に長くする。一方、明時は、比率を維持した状態で、画素３が飽和しない範囲で短時間露光の露光時間を最大限に長く設定している。

従来の固体撮像装置では、ダイナミックレンジを拡大するために、短時間露光の出力レベルを、短時間露光に対する長時間露光の露光時間比だけ増幅（Ｇａｉｎ１＝ＥＬ／ＥＳ）させる。そして、長時間露光で画素飽和する光量Ｌ１以上を、増幅後の短時間露光の出力レベルで線形補正することにより、短時間露光の画像と長時間露光の画像とを合成する。

これに対して、本実施の形態に係る固体撮像装置１では、長時間露光の読み出し時には、ＦＤ変換ゲインを高くしている。具体的には、長時間露光の読み出し時は短時間露光の読み出し時に比べて、ＦＤ変換ゲインを増幅（Ｇａｉｎ２＝ＧＨ／ＧＬ）している。このため、ダイナミックレンジを拡大するために、短時間露光の出力レベルを、短時間露光に対する長時間露光の露光時間比およびこのときのＦＤゲイン比だけ増幅（Ｇａｉｎ１×Ｇａｉｎ２）させる。そして、長時間露光で画素飽和する光量Ｌ２以上を、増幅後の短時間露光の出力レベルで線形補正することにより、短時間露光の画像と長時間露光の画像とを合成する。

これにより、本実施の形態に係る固体撮像装置１によれば、従来の固体撮像装置と同様に、フォトダイオードＰＤの受光量が多い場合、すなわち明るい被写体に対応する場合であっても、飽和していない短時間露光のデータを用いて画像を生成できる。つまり、飽和レベルに達していないデータを用いて画像を生成するため、正確な階調表現を得ることができる。よって、ダイナミックレンジを拡大することができる。

一方、本実施の形態に係る固体撮像装置１によれば、従来の固体撮像装置に比べ、フォトダイオードＰＤの受光量が少ない場合、すなわち暗い被写体に対応する場合、ＦＤ変換ゲインを高くしていることにより、ＳＮの高い高画質の画像を生成することができる。よって、高画質化を図ることができる。また、この場合、ＦＤ変換ゲインを高くしていることにより、受光量に対する分解能を向上させることができる。つまり、高精細な階調表現を得ることができる。

したがって、本実施の形態に係る固体撮像装置１によれば、明るい部分と暗い部分とが混在するような被写体を撮影した場合、各画素３に対応する出力信号として、次のような信号を用いて、１つの画像を生成する。すなわち、複数の画素３のうち明るい部分に対応する画素３については、増幅後の短時間露光の画像データを用いる。一方、複数の画素３のうち暗い部分に対応する画素３については、長時間露光の画像データを用いる。これにより、明るい部分と暗い部分とが混在するような被写体を撮影しても、明るい部分での白とびの発生を抑制しつつ、暗い部分の画質が良好な画像を得ることができる。

つまり、本実施の形態に係る固体撮像装置１によれば、複数の画素３の各々に、長時間露光させて第一ゲイン（ＧＨ）で電荷を電圧に変換させることにより長時間露光のデータを出力させ、短時間露光させて第二ゲイン（ＧＬ、ただしＧＬ＜ＧＨ）で電荷を電圧に変換させることにより短時間露光のデータを出力させる。そして、ＷＤＲ合成回路７０は、入射光の光量に対する増幅後の傾きが長時間露光のデータと線形になるように短時間露光のデータを増幅し、長時間露光のデータと増幅後の短時間露光のデータとを合成する。

これにより、ダーク時の高画質化とダイナミックレンジの拡大とを両立することができる。

（実施の形態１の変形例１）
なお、ＦＤゲイン切替機能を有する画素は、実施の形態１で説明した構成に限らない。

図８Ａは、実施の形態１の変形例１に係る画素３Ａの構成を示す回路図である。図８Ｂは、画素３Ａの動作を示すタイミングチャートである。

これらの図に示す画素３Ａの構成および動作は、図２Ａに示す画素３に比べて、ゲイン制御スイッチ素子ＳＷ１０および付加容量Ｃｆｄ２に関する事項が異なる。

具体的には、ゲイン制御スイッチ素子ＳＷ１０は、リセットトランジスタＴ１１を介して浮遊拡散層ＦＤに接続される。

付加容量Ｃｆｄ２は、リセットトランジスタＴ１１とゲイン制御スイッチ素子ＳＷ１０との間のノードに接続される。

このように構成された画素３Ａであっても、実施の形態１の画素３と同様に、ＦＤ変換ゲインを切り替えることができる。

つまり、ＦＤ変換ゲインは、リセット制御信号φＲＳの極性によってリセットトランジスタＴ１１のオン状態とオフ状態とが切り替わることにより、切り替えられる。具体的には、図８Ｂに示すように、読み出し時（図中の時刻ｔ１６）にφＲＳ＝Ｌｏｗのときは、リセットトランジスタＴ１１がオフしていることにより浮遊拡散層ＦＤの容量がＣｆｄとなるため、ＦＤ変換ゲインが高くなる。逆に、読み出し時にφＲＳ＝Ｈｉｇｈのときは、リセットトランジスタＴ１１がオン状態となることにより浮遊拡散層ＦＤの容量がＣｆｄ＋Ｃｆｄ２となるため、ＦＤ変換ゲインが低くなる。

言い換えると、制御部２０は、リセットトランジスタＴ１１をオフ状態とすることにより、浮遊拡散層ＦＤに第一ゲイン（ＧＨ）で電荷を電圧に変換させる。一方、制御部２０は、リセットトランジスタＴ１１をオン状態かつゲイン制御スイッチ素子ＳＷ１０をオフ状態とすることにより、第二ゲイン（ＧＬ、ただしＧＬ＜ＧＨ）で電荷を電圧に変換させる。

（実施の形態１の変形例２）
なお、長時間露光の露光時間および短時間露光の露光時間は、実施の形態１で説明した時間に限らない。例えば、明時の場合には、実施の形態１で説明した時間よりも短くてもかまわない。

以下、図９を用いて、実施の形態１の変形例２における電子シャッターと読み出し走査について説明する。図９は、実施の形態１の変形例２に係る固体撮像装置の電子シャッター動作および読み出し動作を示すタイミングチャートである。

なお、同図には、明時における電子シャッター動作が示されている。具体的には、固体撮像装置は、明時には、短時間露光で画素３が飽和しない範囲で露光時間を最大限に長くし、長時間露光の露光時間は実施の形態１で説明したダーク時の長時間露光と短時間露光の比率と同様になるように決定している。つまり、制御部２０は、短時間露光（第二露光モード）に対する長時間露光（第一露光モード）の露光時間の比率を維持しつつ、照度が低くなるほど露光時間を長くする。図９では、長時間露光の露光時間を３Ｈとして、短時間露光の露光時間を１Ｈとしている。

長時間露光のシャッター動作は、０行目に対しては期間ｔ７で実施して、１行目に対しては期間ｔ８で実施して、というように行順次に行い、９行目に対しては期間ｔ６で実施する。

長時間露光の読み出し動作は、φＧＣ＝ＬｏｗとしてＦＤ変換ゲインをＧＨとした状態で実施する。具体的には、長時間露光の露光時間を３Ｈとした場合は、０行目に対しては期間ｔ０で実施して、１行目に対しては期間ｔ１で実施して、というように行順次に行い、９行目に対しては期間ｔ９で実施する。

短時間露光のシャッター動作は、０行目に対しては期間ｔ２で実施して、１行目に対しては期間ｔ３で実施して、というように行順次に行い、９行目に対しては期間ｔ１で実施する。

短時間露光の読み出し動作は、φＧＣ＝ＨｉｇｈとしてとしてＦＤ変換ゲインをＧＬとした状態で実施する。具体的には、短時間露光の露光時間を２Ｈとした場合は、０行目に対しては期間ｔ３で実施して、１行目に対しては期間ｔ４で実施して、というように行順次に行い、９行目に対しては期間ｔ２で実施する。

次にこれら長時間露光の読み出し動作と短時間露光の読み出し動作とは、上記実施の形態１と同様に、１水平走査期間の前半に長時間露光の読み出し動作が実施され、１水平走査期間の後半に短時間露光の読み出し動作が実施される。

このように動作する固体撮像装置であっても、実施の形態１の固体撮像装置１と同様に、長時間露光時にはＦＤ変換ゲインを高くすることにより高画質化を図り、短時間露光時にはＦＤ変換ゲインを低くすることによりダイナミックレンジを拡大することが可能となる。これにより、上記変形例１および２に係る固体撮像装置は、ダーク時の高画質化とダイナミックレンジの拡大とを両立することができる。

（実施の形態２）
実施の形態１の変形例２において、明時では、短時間露光は画素が飽和しない範囲で露光時間を最大限に長く設定し、長時間露光は図５のダーク時の長時間露光と短時間露光の比率と同様になるように決定している（図９参照）。

実施の形態２においては、さらに、実施の形態１およびその変形例２に比べて、感度が低い画素に対して、短時間露光および長時間露光ともに、ショットノイズを良くするために、画素が飽和しない範囲で露光時間を最大限に長く設定することを特徴とする。

図１０Ａは、本実施の形態に係る固体撮像装置２の構成例を示すブロック図である。同図に示す固体撮像装置２は、実施の形態１に係る固体撮像装置１に比べて、ベイヤー配列された画素アレイ部２１０を備える。

なお、ＤＳＰ４５は固体撮像装置２に内蔵されても良い。

また、固体撮像装置２は、複数の半導体チップ（例えば、２つの半導体チップ）に形成されてもよい。図１０Ｂは、このような固体撮像装置２の構成例を示すブロック図である。図１０Ｂに示すように、本実施の形態に係る固体撮像装置２は、少なくとも複数の画素３が第１の半導体チップ１０１に形成され、少なくとも第２メモリ８０とＷＤＲ合成回路７０が第１の半導体チップ１０１と別の半導体チップである第２の半導体チップ１０２に形成されるようにしてもよい。

図１１は、画素アレイ部２１０の一部の配列を示す図である。同図に示すように、画素アレイ部２１０では、高感度のＧｂ画素およびＧｒ画素（以下、画素Ａと称する）と低感度のＲ画素およびＢ画素（以下、画素Ｂと称する）とが水平方向に交互に配置されている。つまり、画素アレイ部２１０を構成する複数の画素は、同一行に隣り合って配置され、第一感度の画素Ａ（第一画素）と、第一感度より感度が低い第二感度の画素Ｂ（第二画素）とを含む。

本実施の形態では、感度が異なる画素Ａと画素Ｂが水平方向で隣接して配置されて、各々独立に、シャッターと読み出し走査が行えるとする。つまり、水平走査線群１５は、画素Ａおよび画素Ｂに独立に設けられている。また、このとき、図１０Ａに示すとおりに画素Ａと画素Ｂの信号を、同時にＡＤ変換できるとする。

［電子シャッターと読み出し走査］
次に図１２を用いて、実施の形態２における電子シャッターと読み出し走査について説明する。図１２は、実施の形態２に係る固体撮像装置２の電子シャッター動作および読み出し動作を示すタイミングチャートである。

なお、同図には、明時における電子シャッター動作が示されている。具体的には、固体撮像装置２は、明時には、感度が異なる画素Ａおよび画素Ｂの各々に対して独立して、短時間露光は画素が飽和しない範囲で露光時間を最大限に長く設定する。そして、長時間露光の露光時間は、ダーク時の長時間露光および短時間露光の比率と同様になるように決定している。

例えば、異なる感度の画素Ａおよび画素Ｂの感度比がＧａｉｎ３＝ＳＡ／ＳＢ＝２倍として、この画素Ｂおよび画素Ａの露光時間比は等しくＧａｉｎ３＝２倍になるように設定している。ここでは、画素Ａの長時間露光の露光時間を３Ｈとして、短時間露光の露光時間を１Ｈとしている。画素Ｂの長時間露光の露光時間を６Ｈとして、短時間露光の露光時間を２Ｈとしている。

長時間露光のシャッター動作は、Ａ画素について、０行目に対しては期間ｔ７で実施して、１行目に対しては期間ｔ８で実施して、というように行順次に行い、９行目に対しては期間ｔ６で実施する。また、Ｂ画素について、０行目に対しては期間ｔ４で実施して、１行目に対しては期間ｔ５で実施して、というように行順次に行い、９行目に対しては期間ｔ３で実施する。

長時間露光の読み出し動作は、φＧＣ＝ＬｏｗとしてＦＤ変換ゲインをＧＨとした状態で実施する。具体的には、Ａ画素について、長時間露光の露光時間を３Ｈとした場合は、０行目に対しては期間ｔ０で実施して、１行目に対しては期間ｔ１で実施して、というように行順次に行い、９行目に対しては期間ｔ９で実施する。また、Ｂ画素について、長時間露光の露光時間を６Ｈとした場合は、０行目に対しては期間ｔ０で実施して、１行目に対しては期間ｔ１で実施して、というように行順次に行い、９行目に対しては期間ｔ９で実施する。

短時間露光のシャッター動作は、Ａ画素について、０行目に対しては期間ｔ２で実施して、１行目に対しては期間ｔ３で実施して、というように行順次に行い、９行目に対しては期間ｔ１で実施する。また、Ｂ画素について、０行目に対しては期間ｔ１で実施して、１行目に対しては期間ｔ２で実施して、というように行順次に行い、９行目に対しては期間ｔ０で実施する。

短時間露光の読み出し動作は、φＧＣ＝ＨｉｇｈとしてＦＤ変換ゲインをＧＬとした状態で実施する。具体的には、Ａ画素について、短時間露光の露光時間を２Ｈとした場合は、０行目に対しては期間ｔ３で実施して、１行目に対しては期間ｔ４で実施して、というように行順次に行い、９行目に対しては期間ｔ２で実施する。また、Ｂ画素について、短時間露光の露光時間を１Ｈとした場合は、０行目に対しては期間ｔ３で実施して、１行目に対しては期間ｔ４で実施して、というように行順次に行い、９行目に対しては期間ｔ２で実施する。

これら長時間露光の読み出し動作と短時間露光の読み出し動作とは、実施の形態１と同様に、１水平走査期間の前半に長時間露光の読み出し動作が実施され、１水平走査期間の後半に短時間露光の読み出し動作が実施される。このようにして、１垂直走査期間の動作が完了する。

このような電子シャッターの動作および読み出し走査は、制御部２０の制御に基づいて垂直走査回路１４が画素アレイ部２１０を走査することによる。すなわち、制御部２０は、実施の形態１と同様、画素３に、長時間露光時にはＦＤ変換ゲインを高くさせ、短時間露光時にはＦＤ変換ゲインを低くさせる。

また、制御部２０は、長時間露光（第一露光モード）および短時間露光（第二露光モード）の各々において、画素Ａ（第一画素）より画素Ｂ（第二画素）を長時間露光する。

具体的には、制御部２０は、長時間露光および短時間露光の各々において、画素Ａの露光時間と画素Ｂに対する画素Ａの感度の比率である感度比Ｇａｉｎ３（本実施の形態ではＧａｉｎ３＝２）とを乗じた時間で、画素Ｂを露光させる。例えば、制御部２０は、長時間露光では、画素Ａの露光時間３ＨにＧａｉｎ３を乗じた６Ｈの露光時間で画素Ｂを露光させる。また、短時間露光では、画素Ａの露光時間１ＨにＧａｉｎ３を乗じた２Ｈの露光時間で画素Ｂを露光させる。

このようにして出力された長時間露光のデータおよび短時間露光のデータは、実施の形態１と同様に、ＷＤＲ合成回路７０によって合成される（いわゆるワイドダイナミックレンジ合成）。そこで、以下、ＷＤＲ合成回路７０に関する事項について、詳細に説明する。

［ワイドダイナミックレンジの合成方法］
図１３は、実施の形態２において、長時間露光の画像と短時間露光の画像とを合成して、１つの画像を得る処理を概念的に示す図である。同図には、実施の形態２の比較例についても示されている。

比較例の固体撮像装置では、感度の違いによる画質ムラを補正するために、長時間露光データおよび短時間露光データの各々について画素Ａと画素Ｂの感度比Ｇａｉｎ３を乗じている。

これに対して、本実施の形態に係る固体撮像装置１では、長時間露光の読み出し時には、ＦＤ変換ゲインを高くしている。さらに、感度の低い画素Ｂの信号レベルを感度の高い画素Ａの信号レベルと同等になるように、画素Ｂの露光時間を（Ｇａｉｎ３＝ＳＡ／ＳＢ）倍に増幅する。このため、ダイナミックレンジを拡大するために、短時間露光の出力レベルを、実施の形態１の場合よりもさらに感度比だけ増幅（Ｇａｉｎ１×Ｇａｉｎ２×Ｇａｉｎ３）させる。そして、長時間露光で画素飽和する光量Ｌ２以上を、増幅後の短時間露光の出力レベルで線形補正することにより、短時間露光の画像と長時間露光の画像とを合成する。

これにより、本実施の形態に係る固体撮像装置２によれば、感度の異なる画素Ａと画素Ｂとが隣り合って配置される構成であっても、実施の形態１と同様の効果を奏することができる。つまり、ダーク時の高画質化とダイナミックレンジの拡大とを両立することができる。

また、上述したように、本実施の形態に係る固体撮像装置２によれば、ショットノイズを良くするために、感度が低い画素Ｂに対して、短時間露光および長時間露光ともに、画素Ｂが飽和しない範囲で露光時間を最大限に長く設定する。つまり、制御部２０は、長時間露光（第一露光モード）および短時間露光（第二露光モード）における露光時間の合計値が１垂直走査期間以下となり、かつ、長時間露光（第一露光モード）および短時間露光（第二露光モード）の各々において飽和しないような最長時間で、画素Ｂ（第二画素）を露光させる。

なお、明時からダーク時に移行する過程においては、感度が低く露光時間の長い画素Ｂは、長時間露光と短時間露光の合計した露光時間が１垂直同期信号期間（１Ｖ）（すなわち、１垂直走査期間）を超えないように露光時間が最大で一定に制御される。一方、感度が高く露光時間の短い画素Ａは、長時間露光と短時間露光の比率を維持しながら長くなり、同じく、合計した露光時間が１垂直同期信号期間（１Ｖ）を超えないように制御される。そして、ダーク時においては、感度の高い画素Ａと感度の低い画素Ｂともに、長時間露光と短時間露光の合計した露光時間が同一で１垂直同期信号期間（１Ｖ）を超えないように設定される。

すなわち、制御部２０は、画素Ａ（第一画素）を、長時間露光（第一露光モード）および短時間露光（第二露光モード）における露光時間の合計値が１垂直走査期間以下となるように露光させる。また、当該合計値と感度の比率（Ｇａｉｎ３）とを乗じた時間が１垂直走査期間以下の場合、画素Ｂ（第二画素）を当該時間で露光させ、当該時間が１垂直走査期間を超える場合、画素Ｂを１垂直走査期間以下の所定の時間で露光させる。

また、ワイドダイナミックレンジの長時間露光と短時間露光の比率の設定方法としては、この境界部のつなぎ部分にあたる照度において（図１３ではＬ２）、合成した際にショットノイズに起因したＳＮが問題ないように条件を決めている。また、この長時間露光と短時間露光の比率は、合成方法を簡易化するために、本実施の形態では一定であると説明したが、可変であっても構わない。

また、画素アレイ部は上記の例に限らず、例えば図１４に示すような構成であってもかまわない。図１４は、画素アレイ部２１０Ａの変形例の一部の配列を示す図である。同図に示す画素アレイ部２１０Ａは、図１１に示す画素アレイ部２１０に比べて、Ｇｒ画素がＩＲ（赤外）画素になっている。

ここで、Ｇ画素とＢ画素とでは感度がＧ画素＞Ｂ画素となっており、Ｒ画素とＩＲ画素とでは感度がＲ画素＞ＩＲ画素となっている。つまり、画素アレイ部２１０Ａでも、画素アレイ部２１０と同様に、高感度の画素Ａ（ここでは、Ｇ画素およびＲ画素）と低感度の画素Ｂ（ここでは、Ｂ画素およびＩＲ画素）とが水平方向に交互に配置されている。

このような画素アレイ部２１０Ａを備える固体撮像装置であっても、上記実施の形態２と同様の効果を奏することができる。つまり、ダーク時の高画質化とダイナミックレンジの拡大とを両立することができる。

（その他の実施の形態）
なお、上記の各実施の形態でおよびその変形例に係る固体撮像装置は、カメラ（撮像装置）に用いられる。

図１５は、実施の形態１に係る固体撮像装置１を備えたカメラ（撮像装置）の構成の一例を示すブロック図である。同図のカメラ（撮像装置）は、固体撮像装置１と、レンズ６１と、信号処理回路６３と、システムコントローラ６４とを備える。

上記構成によれば、ダーク時の高画質化とダイナミックレンジの拡大とが両立されたカメラ（撮像装置）を提供することが可能となる。

また、上記説明した固体撮像装置において、画素３は半導体基板の表面、すなわち、トランジスタのゲート端子および配線が形成された面と同じ面側に形成されているが、画素３が半導体基板の裏面、すなわちトランジスタのゲート端子および配線が形成された面に対して裏面側に形成される、いわゆる、裏面照射型イメージセンサ（裏面照射型固体撮像装置）の構造を用いてもよい。

また、上記説明では、画素３は、長時間露光と短時間露光の２つの露光モードで動作したが、露光時間の異なる３つ以上の露光モードで動作してもかまわない。また、このとき、露光時間が長いほどＦＤ変換ゲインが大きくなるようにしてもかまわない。

また、上記実施の形態に係る制御部２０などは典型的には集積回路であるＬＳＩとして実現されてもよい。制御部２０などの各処理部は個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、固体撮像装置１において、画素３内の受光素子としてフォトダイオード（空乏型ｐ−ｎ接合フォトダイオード）ＰＤを用いたが、それに限定されるものではなく、その他の受光素子（一例として、フォトゲート下の電界が誘起した空乏領域）であってもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

以上、例示的な各実施の形態について説明したが、本願の請求の範囲は、これらの実施の形態に限定されるものではない。添付の請求の範囲に記載された主題の新規な教示および利点から逸脱することなく、上記各実施の形態においてさまざまな変形を施してもよく、上記各実施の形態の構成要素を任意に組み合わせて他の実施の形態を得てもよいことを、当業者であれば容易に理解するであろう。したがって、そのような変形例や他の実施の形態も本開示に含まれる。

本開示は、ダーク時の高画質化とダイナミックレンジの拡大とを両立することができ、例えば、ＣＭＯＳ固体撮像装置、デジタルスチルカメラ、ムービーカメラ、カメラ付き携帯電話機、監視カメラ、車載カメラおよび医療用カメラ等、様々なカメラシステムに適用できる。

１、２ 固体撮像装置
３、３Ａ 画素
５ａ、５ｂ 端子
１０、２１０、２１０Ａ 画素アレイ部
１２ 水平走査回路
１４ 垂直走査回路
１５ 水平走査線群
１７ 出力信号線
１８ 水平信号線
１９ 垂直信号線
２０ 制御部
２５ カラムＡＤ回路
２６ カラム処理部
２７ 参照信号生成部
２８ 出力回路
３０ ロード電流源
４０ ＡＤＣ入力線
５１ 電源配線
６１ レンズ
６３ 信号処理回路
６４ システムコントローラ
７０ ＷＤＲ合成回路
７１ ゲイン調整回路
７２ 合成回路
８０ 第２メモリ
１０１ 第１の半導体チップ
１０２ 第２の半導体チップ
２５２ 電圧比較器
２５４ カウンタ部
２５６ メモリ

Claims (11)

1. 行列状に配置された複数の画素を有する固体撮像装置であって、
   前記複数の画素の各々は、
   入射光を光電変換する光電変換部と、
   光電変換によって生成された電荷を蓄積し、蓄積した電荷を所定のゲインで電圧に変換させる電荷蓄積部とを有し、
   前記固体撮像装置は、さらに、
   前記複数の画素の各々に、第一露光モードで露光させて第一ゲインで電荷を電圧に変換させることにより第一画素信号を出力させ、露光時間が前記第一露光モードより短い第二露光モードで露光させて前記第一ゲインより小さい第二ゲインで電荷を電圧に変換させることにより第二画素信号を出力させる制御部と、
   前記第一画素信号及び前記第二画素信号のうち一方の画素信号を、前記複数の画素の行毎に対応付けて記憶する記憶部と、
   前記第一画素信号及び前記第二画素信号のうち他方の画素信号と、前記記憶部に記憶された前記一方の画素信号とを行毎に対応付けて用いて、前記入射光の光量に対する増幅後の傾きが前記第一画素信号と線形になるように前記第二画素信号を増幅し、前記第一画素信号と増幅後の前記第二画素信号とを合成する信号処理部とを備える
   固体撮像装置。
2. 前記信号処理部は、前記第二ゲインに対する前記第一ゲインのゲイン比、及び、第二露光モードに対する前記第一露光モードの露光時間比に対応する増幅率で、前記第二画素信号を増幅する
   請求項１に記載の固体撮像装置。
3. 前記複数の画素は、同一行に隣り合って配置され、第一感度の第一画素と、前記第一感度より感度が低い第二感度の第二画素とを含み、
   前記制御部は、前記第一露光モード及び前記第二露光モードの各々において、前記第一画素より前記第二画素を長時間露光する
   請求項１または２に記載の固体撮像装置。
4. 前記制御部は、前記第一露光モード及び前記第二露光モードの各々において、前記第一画素の露光時間と前記第二画素に対する前記第一画素の感度の比率とを乗じた時間で、前記第二画素を露光させる
   請求項３に記載の固体撮像装置。
5. 前記制御部は、
   前記第一画素を、前記第一露光モード及び前記第二露光モードにおける露光時間の合計値が１垂直走査期間以下となるように露光させ、
   前記合計値と前記感度の比率とを乗じた時間が１垂直走査期間以下の場合、前記第二画素を当該時間で露光させ、当該時間が１垂直走査期間を超える場合、前記第二画素を１垂直走査期間以下の所定の時間で露光させる
   請求項４に記載の固体撮像装置。
6. 前記制御部は、前記第一露光モード及び前記第二露光モードにおける露光時間の合計値が１垂直走査期間以下となり、かつ、前記第一露光モード及び前記第二露光モードの各々において飽和しないような最長時間で、前記第二画素を露光させる
   請求項３に記載の固体撮像装置。
7. 前記制御部は、第二露光モードに対する前記第一露光モードの露光時間の比率を維持しつつ、照度が低くなるほど露光時間を長くする
   請求項１〜６のいずれか１項に記載の固体撮像装置。
8. 前記複数の画素の各々は、
   前記電荷蓄積部に接続されるゲイン制御スイッチ素子と、
   前記ゲイン制御スイッチ素子を介して前記電荷蓄積部に接続される容量とを備え、
   前記制御部は、前記ゲイン制御スイッチ素子を非導通状態とすることにより、前記第一ゲインで電荷を電圧に変換させ、前記ゲイン制御スイッチ素子を導通状態とすることにより、前記第二ゲインで電荷を電圧に変換させる
   請求項１〜７のいずれか１項に記載の固体撮像装置。
9. 前記複数の画素の各々は、
   前記電荷蓄積部の電圧を電源電圧にリセットするリセットスイッチ素子と、
   前記リセットスイッチ素子を介して前記電荷蓄積部に接続されるゲイン制御スイッチ素子と、
   前記リセットスイッチ素子と前記ゲイン制御スイッチ素子との間のノードに接続される容量とを備え、
   前記制御部は、前記リセットスイッチ素子を非導通状態とすることにより、前記電荷蓄積部に前記第一ゲインで電圧に変換させ、前記リセットスイッチ素子を導通状態かつ前記ゲイン制御スイッチ素子を非導通状態とすることにより、前記第二ゲインで電荷を電圧に変換させる
   請求項１〜７のいずれか１項に記載の固体撮像装置。
10. 少なくとも前記複数の画素は第１の半導体チップに形成され、
    少なくとも前記記憶部と前記信号処理部は第２の半導体チップに形成される
    請求項１〜９のいずれか１項に記載の固体撮像装置。
11. 請求項１〜１０のいずれか１項に記載の固体撮像装置を備える撮像装置。

Images