JP7171529B2 - 処理回路、撮像装置、撮像システム、および、移動体 - Google Patents

Description

本発明は撮像装置、撮像システム、および、移動体に関する。

アナログデジタル変換部（以下、ＡＤ変換部）を含む撮像装置において、広いダイナミックレンジを実現するために、画素が生成した１つの画素信号に適用する変換ゲインを可変とすることが知られている。特許文献１には、画素信号のレベル（信号値）に基づいて、異なるゲインで当該画素信号を増幅し、そして、増幅された画素信号に対してＡＤ変換を行うことが記載されている。また、特許文献２には、画素信号のレベルに基づいて、ＡＤ変換部の比較器に供給するランプ信号の変化率を変えることが記載されている。

特開２０１３－２３６３６２号公報 特開２００９－１７７７９７号公報

撮像装置においては、光電変換部や画素回路において画素信号のレベル（信号値）が飽和レベルに達する可能性がある。あるいは、光電変換部や画素回路において画素信号のレベル（信号値）がノイズレベルを下回る可能性がある。そのため、被写体の輝度の変化が大きい場合、明るい部分あるいは暗い部分で十分な階調が得られない可能性がある。つまり、十分なダイナミックレンジを得ることが困難であるという課題がある。

このような課題に鑑み、本発明は、画素信号に対して複数のゲインを適用可能な撮像装置において、広いダイナミックレンジを得ることを目的とする。

本発明の１つの側面に係る実施例は、光電変換部で生じた電荷に基づくアナログ信号が複数の画素から入力される処理回路であって、前記処理回路は、前記アナログ信号の信号値と閾値との比較の結果に応じて、当該比較の対象とされた前記アナログ信号に適用されるゲインを、複数のゲインの中から選択して制御する制御部と、前記画素から出力された前記アナログ信号に対して前記制御部によって選択されたゲインを適用して前記アナログ信号をデジタル信号に変換するアナログデジタル変換部を含む信号処理部を備え、前記複数の画素のそれぞれから、前記アナログ信号として、第１の露光期間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間より短い第２の露光期間に前記光電変換部で生じた電荷に基づく第２の信号とが出力され、前記第１の信号および前記第２の信号の少なくとも一方の信号に対して適用するゲインを、前記複数のゲインに含まれる第１のゲインおよび前記第１のゲインよりも高い第２のゲインの一方を、前記制御部は前記比較の結果に応じて選択する制御を行う。

本発明の別の側面に係る実施例は、光電変換部で生じた電荷に基づくアナログ信号が複数の画素から入力される処理回路であって、前記処理回路は、前記アナログ信号の信号値と閾値との比較の結果に応じて、当該比較の対象とされた前記アナログ信号に適用されるゲインを、複数のゲインの中から選択して制御する制御部と、を備え、前記複数の画素のそれぞれから、前記アナログ信号として、第１の露光期間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間より短い第２の露光期間に前記光電変換部で生じた電荷に基づく第２の信号とが出力され、前記第１の信号および前記第２の信号の少なくとも一方の信号に対して適用するゲインを、前記複数のゲインに含まれる第１のゲインおよび前記第１のゲインよりも高い第２のゲインの一方を前記制御部は前記比較の結果に応じて選択する制御を行い、前記制御部は、前記アナログ信号の信号値と前記閾値とを比較する比較器と前記比較器から出力される信号、および、出力を固定するための制御信号を受ける論理ゲートと、を含む。

本発明の別の側面に係る実施例は、光電変換部で生じた電荷に基づくアナログ信号が複数の画素から出力される処理回路であって、前記処理回路は、前記アナログ信号の信号値と閾値との比較に応じて、前記アナログ信号に適用されるゲインを、少なくとも第１のゲイン、および、前記第１のゲインよりも高い第２のゲインに制御する制御部と、を備え、前記複数の画素のそれぞれから、前記アナログ信号として、第１の露光期間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間より短い第２の露光期間に前記光電変換部で生じた電荷に基づく第２の信号とが出力され、前記第１の信号に対して行われる前記比較に用いられる閾値と、前記第２の信号に対して行われる前記比較に用いられる閾値が異なる信号値である。

本発明の別の側面に係る実施例は、光電変換部で生じた電荷に基づくアナログ信号が複数の画素から入力される処理回路であって、前記処理回路は、前記アナログ信号の信号値と閾値との比較の結果に応じて、当該比較の対象とされた前記アナログ信号に適用されるゲインを、少なくとも第１のゲイン、および、前記第１のゲインよりも高い第２のゲインに制御する制御部と、を備え、前記複数の画素のそれぞれから、前記アナログ信号として、第１の露光期間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間より短い第２の露光期間に前記光電変換部で生じた電荷に基づく第２の信号とが出力され、前記第１の信号および前記第２の信号の少なくとも一方の信号に対して、前記制御部は前記比較の結果に応じて前記第１のゲインおよび前記第２のゲインから一方を選択する制御を行い、前記複数の画素は、第１の行および第２の行を含む複数の行を構成するように配列され、１つの画像を構成するための複数の前記第１の信号を行ごとに読み出し、別の１つ画像を構成するための複数の前記第２の信号を行ごとに読み出し、前記第１の行から前記１つの画像を構成する前記第１の信号が出力される動作と、前記第２の行から前記１つの画像を構成する前記第１の信号が出力される動作との間に、前記第１の行および前記第２の行とは別の行の前記第２の信号が前記処理回路に出力される。

本発明によれば、広いダイナミックレンジを得ることができる。

撮像装置の全体構成を模式的に示す図。 撮像装置の画素の等価回路を示す図。 撮像装置の増幅回路の等価回路を示す図。 撮像装置の制御回路の等価回路を示す図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置から出力される信号について、輝度と信号値との関係を模式的に示す図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置から出力される信号の信号値と輝度との関係を模式的に示す図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置の制御回路の等価回路を示す図。 撮像装置から出力される信号の信号値と輝度との関係を模式的に示す図。 撮像装置から出力される信号の信号値と輝度との関係を模式的に示す図。 撮像装置から出力される信号の信号値と輝度との関係を模式的に示す図。 撮像装置の全体構成を模式的に示す図。 撮像装置の制御回路の等価回路を示す図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置の全体構成を模式的に示す図。 撮像装置の制御回路の等価回路を示す図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置の全体構成を模式的に示す図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置の動作を模式的に示すタイミングチャート図。 撮像装置の動作を模式的に示す図。 撮像システムの実施例のブロック図。 移動体の実施例のブロック図。

［実施例１］
図１の回路ブロック図を参照して、第１の実施例に係る撮像装置ＩＭ１の構成について説明する。図１は、撮像装置ＩＭ１の含む構成要素を示している。撮像装置ＩＭ１は、行列状に配置された複数の画素１００によって構成された画素アレイ１０１を含む。図１では一例として画素アレイ１０１が４行３列の画素１００を有する場合を説明する。しかし、画素アレイ１０１の配置はこれに限られない。画素１００は、画素１００への入射光に応じた画素信号を生成する。また、画素１００は、画素１００のリセットされた状態に応じたリセットレベル信号を生成する。

同じ行を構成する複数の画素１００は、共通の制御線に接続される。制御線を通じて垂直走査回路１０３から画素１００に、画素１００の動作を制御するための制御信号が供給される。また、同じ列を構成する複数の画素１００は、１つの出力線１０２に共通に接続される。出力線１０２を通じて列信号処理部１０４に供給されるアナログ信号を出力線信号Ｖｖｌと呼ぶ。例えば、画素１００から出力線１０２に画素信号が読み出された場合に、出力線信号Ｖｖｌの信号値は画素信号に応じた値となる。また、画素１００から出力線１０２にリセットレベル信号が読み出された場合に、出力線信号Ｖｖｌの信号値はリセットレベル信号に応じた値となる。つまり、画素１００から出力線１０２へ出力された画素信号およびリセットレベル信号を、まとめて、出力線信号Ｖｖｌと呼ぶ。出力線１０２は列信号処理部１０４に接続される。複数の列に対応して、複数の列信号処理部１０４が配される。

列信号処理部１０４は、増幅回路１０５、制御回路１０６、比較回路１０８、メモリ部１１０を含む。

増幅回路１０５は、出力線信号Ｖｖｌを増幅することによって増幅信号Ｖａｍｐを生成し、増幅信号Ｖａｍｐを制御回路１０６及び比較回路１０８に供給する。増幅信号Ｖａｍｐは、増幅された画素信号と、増幅されたリセットレベル信号とを含む。後述するように、増幅回路１０５は複数のゲインの何れかで出力線信号Ｖｖｌを増幅することによって増幅信号Ｖａｍｐを生成する。つまり、増幅回路１０５は可変のゲインを有する。

制御回路１０６は、増幅信号Ｖａｍｐの信号値と所定の閾値Ｖｔｈとを比較する。制御回路は、その比較結果に応じた判定信号ＡＴＴを増幅回路１０５及びメモリ部１１０に供給する。一例として、本実施例の制御回路１０６は、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい場合に判定信号ＡＴＴをＬレベルとし、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合に判定信号ＡＴＴをＨレベルとする。増幅回路１０５は、判定信号ＡＴＴのレベルに応じて、出力線信号Ｖｖｌの増幅に用いるゲインを変更する。すなわち、制御回路１０６は、増幅回路１０５がゲインを変更すべきかを判定する。ゲインの変更は、増幅回路１０５が出力線に出力された画素信号（出力線信号Ｖｖｌ）を増幅している間に行われる。

比較回路１０８には、増幅回路１０５からの増幅信号Ｖａｍｐと、参照信号発生回路１０７からの参照信号Ｖｒとが供給される。参照信号発生回路１０７は、全体制御部１１３からの指示に応じて、参照信号Ｖｒとしてランプ信号を出力する。ランプ信号とは、時間の経過に対して一定の変化量で変化する信号値を持つ信号である。

比較回路１０８は、増幅信号Ｖａｍｐと参照信号Ｖｒとを比較し、その比較結果を示す比較信号Ｖｃｍｐをメモリ部１１０に供給する。一例として、本実施例の比較回路１０８は、増幅信号Ｖａｍｐが参照信号Ｖｒよりも大きい場合に比較信号ＶｃｍｐをＬレベルとし、増幅信号Ｖａｍｐが参照信号Ｖｒよりも小さい場合に比較信号ＶｃｍｐをＨレベルとする。

メモリ部１１０には、制御回路１０６からの判定信号ＡＴＴ及び比較回路１０８からの比較信号Ｖｃｍｐのほかに、カウンタ１０９からカウント信号ＣＮＴが供給される。カウンタ１０９は、全体制御部１１３からの指示に応じて、カウント信号ＣＮＴが表すカウント値を時間の経過とともにカウントアップまたはカウントダウンする。メモリ部１１０は、メモリ１１０Ｓと、メモリ１１０Ｎと、メモリ１１０Ｄとを含む。メモリ１１０Ｓ、メモリ１１０Ｎ、および、メモリ１１０Ｄは、それぞれ少なくとも１ビットのデジタル信号を保持する。メモリ１１０Ｄは、制御回路１０６から供給された判定信号ＡＴＴのレベルを保持する。判定信号ＡＴＴは、ＨレベルとＬレベルとの２値を取るデジタル信号である。メモリ１１０Ｓ及びメモリ１１０Ｎはそれぞれ、参照信号発生回路１０７がランプ信号を供給し始めた時点におけるカウント信号ＣＮＴのカウント値と、比較信号Ｖｃｍｐのレベルが切り替わった時点におけるカウント信号ＣＮＴのカウント値との差分を保持する。この差分は、通常、複数ビットのデジタル信号として表される。そのため、メモリ１１０Ｎ、および、メモリ１１０Ｄは、複数ビットのデジタル信号を保持できることが好ましい。

メモリ１１０Ｎは、画素１００がリセットされている状態で増幅回路１０５が出力する増幅信号Ｖａｍｐから変換されたデジタル信号を保持する。つまり、メモリ１１０Ｎはリセットレベル信号から変換されたデジタル信号を保持する。メモリ１１０Ｓは、画素１００から画素信号が読み出されている状態で増幅回路１０５が出力する増幅信号Ｖａｍｐから変換されたデジタル信号を保持する。つまり、メモリ１１０Ｓは画素信号から変換されたデジタル信号を保持する。画素信号は、画素１００の光電変換部で生じた電荷に基づく信号である。

参照信号発生回路１０７と、比較回路１０８と、カウンタ１０９と、メモリ部１１０とが、増幅信号Ｖａｍｐをデジタル信号に変換するアナログデジタル変換部（以下、ＡＤ変換部）を構成する。ＡＤ変換部によって生成されるデジタル信号は、画素信号から変換されたデジタル信号と、リセットレベル信号から変換されたデジタル信号とを含む。

列信号処理部１０４は、出力線１０２ごとに個別に配置される。本実施例では、１つの参照信号発生回路１０７と１つのカウンタ１０９が、複数の列信号処理部１０４に対して共通に設けられている。複数の列信号処理部１０４のそれぞれに、個別に、参照信号発生回路１０７とカウンタ１０９とが配されていてもよい。

水平走査回路１１１は、複数のメモリ部１１０からデジタル信号を、順次、出力部１１２に読み出す。出力部１１２は、デジタル信号を撮像装置ＩＭ１の外部へ出力する。出力部１１２は、必要に応じて、リセットレベル信号から変換されたデジタル信号と、画素信号から変換されたデジタル信号との差分処理を行ってもよい。

全体制御部１１３は、撮像装置ＩＭ１の各構成要素に対して後述の制御信号を供給することによって、各構成要素の動作を制御する。

続いて、図２～図４を参照して、図１の画素１００、増幅回路１０５、および、制御回路１０６の回路構成例について説明する。

図２は、画素１００の等価回路を示す。画素１００はフォトダイオードＰＤ、増幅トランジスタＭＳＦ、転送トランジスタＭＴＸ、リセットトランジスタＭＲＳ及び選択トランジスタＭＳＥＬを含む。転送トランジスタＭＴＸ、リセットトランジスタＭＲＳ及び選択トランジスタＭＳＥＬは、それぞれ垂直走査回路１０３から供給される制御信号φＰＴＸ、φＰＲＳ、φＰＳＥＬによって導通状態または非導通状態となるように制御される。

フォトダイオードＰＤは光電変換部の一例である。フォトダイオードＰＤは、画素１００への入射光に応じた電荷を発生し、この電荷を蓄積する。

増幅トランジスタＭＳＦは、画素１００の増幅部を構成する。増幅トランジスタＭＳＦのゲートは、フローティングディフュージョンＦＤに接続される。増幅トランジスタＭＳＦのゲートとフローティングディフュージョンＦＤとが増幅部の入力ノードを構成する。増幅トランジスタＭＳＦのソースは選択トランジスタＭＳＥＬを介して出力線１０２に接続される。

リセットトランジスタＭＲＳはリセット部を構成する。リセットトランジスタＭＲＳはフローティングディフュージョンＦＤに接続される。制御信号φＰＲＳがＨレベルになると、リセットトランジスタＭＲＳが導通状態になる。これにより、フローティングディフュージョンＦＤが電源ＶＤＤに接続され、フローティングディフュージョンＦＤの電圧がリセットされる。つまり、増幅部の入力ノードの電圧がリセットされる。増幅部の入力ノードの電圧がリセットされた状態を、画素１００がリセットされた状態という。

制御信号φＰＴＸがＨレベルになると、転送トランジスタＭＴＸが導通状態になり、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送される。制御信号φＰＳＥＬがＨレベルになると、選択トランジスタＭＳＥＬが導通状態となり、不図示の電流源から出力線１０２を介して増幅トランジスタＭＳＦに電流が供給される。それによって、フローティングディフュージョンＦＤの電圧に基づいたアナログ信号（画素信号、または、リセットレベル信号）が出力線１０２に読み出される。

図３は、増幅回路１０５の回路構成例を説明する。増幅回路１０５は、反転増幅器ＡＭＰ、容量ＣＩＮ、容量ＣＦＢ１、容量ＣＦＢ２及びスイッチＳ１、スイッチＳ２を含む。反転増幅器ＡＭＰの入力端子には容量ＣＩＮを介して出力線信号Ｖｖｌが供給される。反転増幅器ＡＭＰの入力端子と出力端子との間には、スイッチＳ１と、容量ＣＦＢ１とが並列に接続される。また、これらと並列に、反転増幅器ＡＭＰの入力端子と出力端子との間には、直列に接続されたスイッチＳ２及び容量ＣＦＢ２とが接続される。

容量ＣＦＢ１及び容量ＣＦＢ２は、フィードバック容量として作用する。スイッチＳ２のオンおよびオフは、判定信号ＡＴＴと制御信号φＦＢ２との論理和により制御される。この論理和がＨレベルの場合にスイッチＳ２がオンとなり、容量ＣＦＢ２がフィードバック容量として作用する。判定信号ＡＴＴは、後述するように、増幅回路１０５のゲインを制御するために用いられる。制御信号φＦＢ２は、ゲインの制御にかかわらず、容量ＣＦＢ２の電荷をリセットするために用いられる。スイッチＳ１は、制御信号φＡＲＳがＨレベルの場合にオンとなる。スイッチＳ１がオンすることにより、容量ＣＦＢ１、容量ＣＦＢ２に蓄積された電荷がリセットされる。

増幅回路１０５は、可変のゲインを持つ。スイッチＳ２のオンとオフとが切り替わることにより、増幅回路１０５のゲインは異なる値に制御される。容量ＣＩＮ、容量ＣＦＢ１、容量ＣＦＢ２の容量値は、増幅回路１０５に設定したいゲインによって適宜設定される。一例として、本実施例の容量ＣＩＮ、容量ＣＦＢ１、容量ＣＦＢ２の容量値をそれぞれＣ、Ｃ、３Ｃとする。そのため、スイッチＳ２がオフの場合に増幅回路１０５のゲインは１倍に制御され、スイッチＳ２がオンの場合に増幅回路１０５のゲインは１／４倍に制御される。反転増幅器ＡＭＰは、設定されたゲインで出力線信号Ｖｖｌを増幅することによって得られた信号を増幅信号Ｖａｍｐとして出力する。上述のように、ゲインは１倍より小さい値であってもよいし、あるいは、ゲインは１倍より大きな値であってもよい。また、直列に接続されたスイッチと容量の組を追加することで、増幅回路１０５のゲインを３値以上に切り替えることができる。

一例として、本実施例の反転増幅器ＡＭＰは、ＮＭＯＳトランジスタであるトランジスタＭ１及びＭ２と、ＰＭＯＳトランジスタであるトランジスタＭ３及びＭ４とから構成されたＮＭＯＳソース接地増幅回路によって実現される。トランジスタＭ１は、ソース接地増幅トランジスタとして動作する。トランジスタＭ２は、ゲート接地増幅トランジスタとして動作する。また、トランジスタＭ３とＭ４とは、カスコード接続され、定電流負荷を構成する。トランジスタＭ２、Ｍ３、Ｍ４のゲートにはＤＣバイアス電圧Ｖｂｎ１、Ｖｂｐ１、Ｖｂｐ２がそれぞれ供給され、これらのＤＣバイアスによって各トランジスタの動作点が定まる。

図４は、制御回路１０６の等価回路を示す。制御回路１０６は、比較器ＣＭＰ１、Ｄラッチ回路ＤＬ、および、Ｄラッチ回路ＤＬの後段に接続されたＡＮＤゲートを含む。

比較器ＣＭＰ１の非反転入力端子には増幅信号Ｖａｍｐが供給される。比較器ＣＭＰ１の反転入力端子には閾値Ｖｔｈを示す信号が供給される。比較器ＣＭＰ１は、増幅信号Ｖａｍｐの信号値（レベル）と閾値Ｖｔｈとの大小関係を判定し、判定結果に応じた信号をＤラッチ回路ＤＬのＤ端子に供給する。換言すると、比較器ＣＭＰ１は、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとを比較している。比較器ＣＭＰ１は、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい場合にＬレベルの信号を出力し、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合にＨレベルの信号を出力する。

Ｄラッチ回路ＤＬは、Ｅ端子に供給される制御信号φＤＬに応じて、Ｄ端子に供給されている信号のレベルを保持し、保持しているレベルを出力する。Ｄ端子には、比較器ＣＭＰ１から、比較の結果を示す信号が入力されている。そのため、Ｄラッチ回路ＤＬは、制御信号φＤＬのＨレベルが入力されたタイミングで、比較の結果を後段の回路に伝達する機能を担う。

ＡＮＤゲートの一方の入力には、Ｄラッチ回路ＤＬから出力された信号が供給される。ＡＮＤゲートの別の入力には制御信号φＤＬＯが入力される。制御信号φＤＬＯがＨレベルのとき、Ｄラッチ回路ＤＬが保持しているレベルを判定信号ＡＴＴとして制御回路１０６の外部へ出力する。つまり、制御信号φＤＬＯによって、Ｄラッチ回路ＤＬの保持しているレベルを、外部へ出力するか否かを選択することができる。

本実施例では、画素１００から出力されたアナログ信号（画素信号およびリセットレベル信号）は、出力線信号Ｖｖｌとして、増幅回路１０５に入力される。増幅回路１０５は画素１００から出力されたアナログ信号を増幅信号Ｖａｍｐとして出力する。増幅信号Ｖａｍｐはアナログ信号である。そして、制御回路１０６は、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較の結果に応じて、増幅回路１０５のゲインを制御するための判定信号ＡＴＴを出力する。このような構成により、本実施例の制御回路１０６は、画素１００の増幅部から出力されたアナログ信号の信号値と閾値との比較に応じて、列信号処理部１０４のゲインを制御している。

続いて、図５、図６を参照して、撮像装置ＩＭ１の動作について説明する。撮像装置ＩＭ１の動作は、全体制御部１１３が撮像装置ＩＭ１の各構成要素の動作を制御することによって行われる。画素１００の動作は、全体制御部１１３が垂直走査回路１０３を制御することによって行われる。また、メモリ部１１０から出力部１１２へのデジタル信号の読出しは、全体制御部１１３が水平走査回路１１１を制御することによって行われる。

図５のタイミングチャート図を参照して、リセットレベル信号および画素信号の読み出し動作について説明する。図５のタイミングチャート図は、画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合を示す。画素信号の読み出し動作とは、画素１００から画素信号を読み出し、画素信号から変換されたデジタル信号をメモリ部１１０に保持する動作のことである。

図５は、１つの画素１００から画素信号を１回読み出すための動作を説明する。同じ行を構成する複数の画素１００に対して、図５に説明される動作が同時に行われる。図５は、１行の読み出しに対応した“１Ｈ”期間のタイミングチャートを模式的に示している。撮像装置ＩＭ１は、画素アレイ１０１を構成する複数の行のそれぞれに対して図５に説明される動作を順次行うことによって、画素アレイ１０１の全ての画素１００から画素信号を読み出す。

垂直走査回路１０３は、図５に示す期間を通じて、画素信号の読み出し動作の対象の画素１００に供給する制御信号φＰＳＥＬをＨレベルに維持し、他の画素１００に供給する制御信号φＰＳＥＬをＬレベルに維持する。制御信号φＰＳＥＬがＨレベルであることにより、画素１００の増幅部がアナログ信号（画素信号およびリセットレベル信号）を出力線１０２に出力する。

画素信号の読み出し動作が開始されると、垂直走査回路１０３は、制御信号φＰＲＳを一時的にＨレベルにすることによって、画素１００をリセットする。これにより、リセット状態にある画素１００に応じた信号、つまり、リセットレベル信号が出力線１０２に読み出される。リセットレベル信号が出力線１０２に読み出されると、出力線信号Ｖｖｌの信号値はリセットレベル信号に応じた値となる。全体制御部１１３は、画素１００のリセットと並行して、制御信号φＡＲＳ、φＦＢ２をそれぞれ一時的にＨレベルにすることによって、容量ＣＦＢ１、容量ＣＦＢ２、容量ＣＩＮに蓄積された電荷をリセットする。垂直走査回路１０３が制御信号φＰＲＳをＬレベルにした後、全体制御部１１３は、制御信号φＡＲＳ、φＦＢ２をそれぞれＬレベルにする。

このとき、制御信号φＤＬＯはＬレベルであるため、制御回路１０６が出力する判定信号ＡＴＴはＬレベルとなる。判定信号ＡＴＴと制御信号φＦＢ２とが両方ともＬレベルであるので、増幅回路１０５のスイッチＳ２はオフとなり、容量ＣＦＢ２は反転増幅器ＡＭＰのフィードバック容量を構成しない。そのため、反転増幅器ＡＭＰのフィードバック容量の容量値はＣとなる。反転増幅器ＡＭＰの入力ノードと出力線１０２との間に接続されている入力容量（容量ＣＩＮ）の容量値もＣであるので、増幅回路１０５のゲインは１倍に制御される。本明細書では、リセットレベル信号を読み出す時に増幅回路１０５のゲインを１倍に制御することを、リセットレベル信号に適用するゲインを１倍に制御するとも記述する。他の信号についても同様である。また、ゲインを設定する対象が増幅回路１０５以外の回路である場合も同様である。例えば、画素１００の増幅部のゲインが変更されてもよい。

その後、参照信号発生回路１０７は、全体制御部１１３からの指示に応じて、参照信号Ｖｒとしてランプ信号を供給し始める。言い換えると、参照信号発生回路１０７は、参照信号Ｖｒの信号値を時間の経過に対して一定の変化量で変化させ始める。これと同時に、カウンタ１０９は、全体制御部１１３からの指示に応じて、出力するカウント値をゼロからカウントアップし始める。参照信号Ｖｒが増幅信号Ｖａｍｐより大きくなり、比較信号ＶｃｍｐがＬレベルからＨレベルに切り替わる時点で、メモリ１１０Ｎは、その時点のカウンタ１０９からのカウント値を保持する。このカウント値は、リセットレベル信号を１倍のゲインで増幅することによって得られた増幅信号ＶａｍｐをＡＤ変換したデジタル信号に対応する。以下、リセットレベル信号から変換されたデジタル信号をデジタル信号Ｎと呼ぶ。

その後、垂直走査回路１０３が制御信号φＰＴＸを一時的にＨレベルにすることによって、転送トランジスタＭＴＸがオンする。この時には、所定の長さの露光期間に生じた電荷がフォトダイオードＰＤに蓄積されている。そのため、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送される。これにより、画素１００から画素信号が出力線１０２に読み出され、出力線信号Ｖｖｌの信号値が画素信号に応じた値となる。画素１００のリセット時の出力線信号Ｖｖｌの信号値を基準として、電荷が転送された後の出力線信号Ｖｖｌの信号値の変化量をΔＶｖｌで表す。変化量ΔＶｖｌは画素１００への入射光量に応じた値となる。出力線信号Ｖｖｌの変化に伴い、増幅信号Ｖａｍｐも変化する。増幅回路１０５のゲインが１倍に設定されている状態の増幅信号Ｖａｍｐの変化量をΔＶａｍｐ１と呼ぶ。

この後の動作については、増幅信号Ｖａｍｐが、閾値Ｖｔｈ以上となるときと、閾値Ｖｔｈ未満となるときとで、撮像装置ＩＭ１は異なる動作をする。図５では、画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐが閾値Ｖｔｈよりも大きい場合について説明する。なお、閾値Ｖｔｈは、増幅回路１０５の出力ダイナミックレンジの１／４以下となるように設定されている。しかし、閾値Ｖｔｈは、増幅回路１０５の出力ダイナミックレンジの範囲内であればどのような値に設定されてもよい。

垂直走査回路１０３が制御信号φＰＴＸをＬレベルにしてから所定の時間が経過した後に、全体制御部１１３は、制御信号φＤＬを一時的にＨレベルにする。図５に示された例では、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きいので、Ｄラッチ回路ＤＬにはＨレベルが保持される。次に、制御信号φＤＬＯをＨレベルにする。これにより、制御回路１０６は、Ｄラッチ回路ＤＬに保持された信号を出力する。つまり、制御回路１０６から出力される判定信号ＡＴＴはＨレベルとなる。その結果、増幅回路１０５のスイッチＳ２がオンとなり、容量ＣＦＢ２が反転増幅器ＡＭＰのフィードバック容量として寄与する。反転増幅器ＡＭＰに接続されているフィードバック容量の容量値は４Ｃとなる。反転増幅器ＡＭＰに接続されている入力容量の容量値がＣであるので、増幅回路１０５のゲインは１／４倍に制御される。それに伴い、増幅信号Ｖａｍｐの値も変化する。増幅回路１０５のゲインが１／４倍に設定されている状態の増幅信号Ｖａｍｐの変化量をΔＶａｍｐ２と呼ぶ。

その後、撮像装置ＩＭ１は、リセットレベル信号に対するＡＤ変換と同様にして、画素信号を増幅することによって得られた増幅信号Ｖａｍｐをデジタル信号に変換する。メモリ１１０Ｓは、画素信号から変換されたデジタル信号を保持する。以下、画素信号から変換されたデジタル信号をデジタル信号Ｓと呼ぶ。その後、メモリ１１０Ｄは、判定信号ＡＴＴのレベルを保持する。最後に、制御信号φＤＬＯはＬレベルとなり、次の行の読み出しに移るために判定信号ＡＴＴをＬレベルとする。

以上の動作によって、画素信号の信号値と閾値Ｖｔｈとの比較の結果を表す判定信号ＡＴＴのレベルがメモリ１１０Ｄに保持される。また、リセットレベル信号から変換されたデジタル信号Ｎがメモリ１１０Ｎに保持され、画素信号から変換されたデジタル信号Ｓがメモリ１１０Ｓに保持される。上述の例のように、増幅回路１０５のゲインが１倍から１／４倍に変更された場合に、メモリ１１０ＤにはＨレベルの判定信号ＡＴＴが保持される。そして、メモリ１１０Ｓには１／４倍のゲインで増幅された画素信号を表すデジタル信号Ｓが保持される。

一方、図６のタイミング図は、画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい場合を示す。図６において説明がない部分は、図５と同じである。

図６では、変化量ΔＶｖｌおよび変化量ΔＶａｍｐ１が、図５に対して小さい。また、画素信号に対応する増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい。従って、制御信号φＤＬＯがＨレベルのときに、制御回路１０６の出力する判定信号ＡＴＴはＬレベルである。結果として、画素信号に対してＡＤ変換を行う時に、増幅回路１０５のゲインは１倍のまま維持される。この場合に、メモリ１１０ＤにはＬレベルの判定信号ＡＴＴが保持され、メモリ１１０Ｓには１倍のゲインで増幅された画素信号を表すデジタル信号Ｓが保持される。

増幅回路１０５のゲインが１倍から１／４倍に変更された場合と１倍のまま維持された場合との両方において、メモリ１１０Ｎには１倍のゲインで増幅されたリセットレベル信号を表すデジタル信号Ｎが保持される。

図５および図６の両方において、メモリ部１１０へのデジタル信号の保持の動作の後、メモリ部１１０に保持されたデジタル信号Ｎ、設定信号ＡＴＴ、デジタル信号Ｓが水平走査回路１１１の走査によって出力部１１２に読み出される。その後、出力部１１２は、差分処理、ゲイン誤差の補正などの処理を行い、そして、フォトダイオードＰＤに蓄積された電荷に応じたデジタル信号Ｄを出力する。なお、ゲイン誤差の補正などの処理は、外部の信号処理装置によって行われてもよい。

図５および図６では、最初に増幅回路１０５のゲインが相対的に高いゲイン（第２のゲイン）に制御されている。そして、その後、増幅回路１０５のゲインが相対的に低いゲイン（第１のゲイン）に制御される。しかし、この順序は逆であってもよい。最初に相対的に低いゲイン（第１のゲイン）に制御され、その後、画素信号の信号値が閾値Ｖｔｈより低い場合に、相対的に高いゲイン（第２のゲイン）に制御されてもよい。

図７は輝度とデジタル信号Ｄの信号値の関係を模式的に示す図である。横軸が輝度を示し、縦軸がデジタル信号Ｄの信号値を示す。輝度の低い範囲Ｌでは、増幅回路１０５のゲインは、相対的に高いゲイン（第２のゲイン）に制御される。本実施例では、相対的に高いゲインは、１倍に設定される。増幅回路１０５のゲインが相対的に高いゲインに制御されたときに得られる信号を、便宜的に、高ゲイン信号と呼ぶ。輝度の高い範囲Ｈでは、増幅回路１０５のゲインは相対的に低いゲイン（第１のゲイン）に制御される。本実施例では、相対的に低いゲインは、１／４倍に設定される。増幅回路１０５のゲインが相対的に低いゲインに制御されたときに得られる信号を、便宜的に、低ゲイン信号と呼ぶ。

低ゲイン信号と高ゲイン信号との線形性を維持するため、通常、低ゲイン信号に対してゲイン比に応じた補正を行う。本実施例の場合は、ゲイン比（相対的に高いゲイン／相対的に低いゲイン）が４であるため、低ゲイン信号の信号値を４倍する。低ゲイン信号および高ゲイン信号のそれぞれは、ＡＤ変換部のダイナミックレンジ（ＡＤ変換レンジ）に収まる信号値を取るのみである。これに対して、ゲイン比に応じた補正を行うことで、低輝度の範囲Ｌから高輝度の範囲Ｈまでの広い範囲の輝度変化に応じて、ＡＤ変換レンジを超えて信号値の変化するデジタル信号Ｄを得ることができる。つまり、列信号処理部１０４が可変のゲインで、画素１００から出力されるアナログ信号（画素信号およびリセットレベル信号）を処理することにより、ダイナミックレンジを拡大することができる。

ここで、回路の設計誤差などの影響で、実際のゲイン比は設定値と一致しない場合がある。そのため、図７に示されるように、高ゲイン信号とゲイン比に応じて補正された低ゲイン信号とは直線にならない場合がある。このような場合には、ゲイン比に応じた補正値を調整することで、線形性を向上させることが可能である。図７は、補正値を調整した結果の合成信号をさらに示している。

本実施例では、露光期間の長さの異なる複数の画像用データを合成してダイナミックレンジをさらに拡大することが可能である。本実施例の撮像装置ＩＭ１は、画素信号の読み出し動作の前に、光電変換部のリセットを行う。一般的には、光電変換部をリセットした時点から、図５において電荷の転送が終了した時点までが、露光期間である。制御信号φＰＴＸがＨレベルからＬレベルに遷移した時に電荷の転送が終了する。

なお、変形例では、画素１００の電荷保持部で、複数の離散した期間に生じた電荷を加算することがある。この場合、当該複数の離散した期間の合計が、１回の露光期間である。電荷保持部において電荷が加算されるため、複数の離散した期間に生じた電荷が１つの画素信号として出力される。そのため、当該複数の離散した期間の合計が、１回の露光期間である。電荷保持部は、例えば、フローティングディフュージョンＦＤ、あるいは、フローティングディフュージョンＦＤとは別に設けられた保持容量である。

図８のタイミングチャート図を参照して、露光時間が異なる複数の画像用データを得るための動作を説明する。図８は、図５、図６に示された信号の一部を表す。図５または図６と同じ要素には、同じ符号を付し、詳細な説明は省略する。

まず、長時間の露光（第１の露光期間）が行われる。第１の露光期間の後に、１行の読み出しに対応した“１Ｈ”期間で、第１の露光期間に生じた電荷に応じたデジタル信号Ｄを読み出す。“１Ｈ”期間の読み出し動作は、図５または図６で説明した動作である。続いて、短時間の露光（第２の露光期間）が行われる。第２の露光期間の後に、１行の読み出しに対応した“１Ｈ”期間で、第２の露光期間に生じた電荷に応じたデジタル信号Ｄを読み出す。

なお、長時間および短時間は、相対的な露光期間の長さの関係を意味している。つまり、長時間露光（第１の露光期間）および短時間露光（第２の露光期間）とは、一方の露光期間（第１の露光期間）が、他方の露光期間（第２の露光期間）より長いということを意味している。また、動画を撮影する場合、長時間露光と短時間露光とが交互に行われる。一般的に被写体の明るさに応じて露光期間の長さを制御する場合、露光期間の長さは段階的に変化する。この点において、ダイナミックレンジ拡大のための露光期間の制御は、被写体の明るさに応じた露光期間の制御とは異なる。

図８において、画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合を、増幅信号Ｖａｍｐ＿Ｈが表している。画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい場合を、増幅信号Ｖａｍｐ＿Ｌが表している。また、図８は、それぞれの場合の増幅回路１０５のゲインの状態を、ゲイン（Ｖａｍｐ＿Ｈ）、および、ゲイン（Ｖａｍｐ＿Ｌ）で示す。長時間露光（第１の露光期間）の後の“１Ｈ”期間、および、短時間露光（第２の露光期間）の後の“１Ｈ”期間のそれぞれで、制御回路１０６は、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較の結果に応じて、増幅回路１０５のゲインを制御する。

なお、変形例として、制御回路１０６による増幅信号Ｖａｍｐの信号値に応じたゲインの制御は、長時間露光（第１の露光期間）の後の“１Ｈ”期間、および、短時間露光（第２の露光期間）の後の“１Ｈ”期間のいずれか一方のみで行われるだけでもよい。例えば、長時間露光（第１の露光期間）の後の“１Ｈ”期間のみで、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較、および、当該比較の結果に応じたゲインの制御が行われる。

第１の露光期間に生じた電荷に応じたデジタル信号Ｄによって構成される第１の画像と、第２の露光期間に生じた電荷に応じたデジタル信号Ｄによって構成される第２の画像とは、外部の画像合成装置によって、１つの画像に合成される。これにより、さらにダイナミックレンジの拡大された画像を得ることができる。

図９は輝度とデジタル信号Ｄの信号値の関係を模式的に示す図である。横軸が輝度を示し、縦軸がデジタル信号Ｄの信号値を示す。輝度とデジタル信号Ｄの信号値との関係は、輝度に応じて、増幅回路１０５のゲイン、および、露光期間の長さの異なる４つの組み合わせから選択される。

輝度の範囲について、低い方から順に、範囲ＬＬ、範囲ＬＨ、範囲ＳＬ、範囲ＳＨと呼ぶ。範囲ＬＬおよび範囲ＬＨでは、長時間の露光（第１の露光期間）によって得られたデジタル信号Ｄが用いられる。これらを総称して、長時間露光信号と呼ぶ。長時間露光信号は、図７での説明と同様に、高ゲイン信号と低ゲイン信号を含む。すなわち、輝度が低輝度側の範囲ＬＬに含まれる場合、増幅回路１０５のゲインは、相対的に高いゲイン（第２のゲイン）に制御される。輝度が高輝度側の範囲ＬＨに含まれる場合、増幅回路１０５のゲインは、相対的に低いゲイン（第１のゲイン）に制御される。また、図７での説明と同様に、低ゲイン信号に対してはゲイン比に応じた補正が行われる。

範囲ＳＬおよび範囲ＳＨでは、短時間の露光（第２の露光期間）によって得られたデジタル信号Ｄが用いられる。これらを総称して、短時間露光信号と呼ぶ。短時間露光信号は、図７での説明と同様に、高ゲイン信号と低ゲイン信号を含む。すなわち、輝度が低輝度側の範囲ＳＬに含まれる場合、増幅回路１０５のゲインは、相対的に高いゲイン（第２のゲイン）に制御される。輝度が高輝度側の範囲ＳＨに含まれる場合、増幅回路１０５のゲインは、相対的に低いゲイン（第１のゲイン）に制御される。また、図７での説明と同様に、低ゲイン信号に対してはゲイン比に応じた補正が行われる。

図７で説明したように、長時間露光信号および短時間露光信号のそれぞれについて、ＡＤ変換レンジを超えて信号値の変化するデジタル信号Ｄを得ることができる。そして、長時間露光信号と短時間露光信号とを合成することで、図９が示すように、より広いダイナミックレンジを得ることができる。

長時間露光信号と短時間露光信号とを合成する際に、短時間露光信号に対して露光期間の長さの比に応じたゲインを適用する。図９では、露光時間補正値として、ゲインのかかった短時間露光信号が示されている。通常は、長時間露光信号に適用するゲインよりも、高いゲインが短時間露光信号に適用される。

以上に説明した通り、本実施例では、長時間の露光（第１の露光期間）により生じた電荷に基づくデジタル信号Ｄ、および、短時間の露光（第２の露光期間）により生じた電荷に基づくデジタル信号Ｄが読み出される。そして、デジタル信号Ｄの読み出しに際して、画素１００の出力する画素信号の信号値と閾値Ｖｔｈとの比較に応じて、当該画素信号に適用するゲインを制御する。このような構成により、ダイナミックレンジを拡大することが可能である。

上述の実施例では、ゲイン比に応じた補正、異なる長さの露光期間の画像の合成、および、合成の際の露光期間の長さの比に応じた補正などについて説明している。しかし、これらの処理は、いずれも撮像装置の外部で行われるものである。つまり、本発明の実施において、必ずしも行われる処理ではない。本実施例の撮像装置においては、異なる長さの露光期間の電荷に基づく信号を読み出すこと、および、比較に基づいてゲインを制御することで、ダイナミックレンジの拡大された信号が出力される。もちろん、いくつかの実施例では、撮像装置ＩＭ１が上述の補正や画像合成を行う画像処理部を備えている。

［実施例２］
第２の実施例について説明する。第１の実施例では、長時間露光の後の“１Ｈ”期間、および、短時間露光の後の“１Ｈ”期間のそれぞれで、制御回路１０６が、増幅信号Ｖａｍｐの信号値に応じて、増幅回路１０５のゲインを制御する。これに対して、第２の実施例では、短時間露光（第２の露光期間）により生じた電荷に基づく画素信号を読み出す際は、増幅回路１０５のゲインを固定する。換言すると、長時間露光（第１の露光期間）の後の“１Ｈ”期間のみで、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較、および、当該比較の結果に応じたゲインの制御が行われる。そこで、以下では主として第１の実施例と異なる部分を説明し、第１の実施例と同様の部分についての説明を省略する。

第２の実施例に係る撮像装置ＩＭ１の構成は、第１の実施例と同じである。すなわち、図１が第２の実施例に係る撮像装置ＩＭ１の構成を模式的に示している。図１についての説明は省略する。

第２の実施例の画素１００、および、列信号処理部１０４に含まれる増幅回路１０５は、第１の実施例と同じである。すなわち、図２、図３が、ぞれぞれ、本実施例の画素１００、および、増幅回路１０５の等価回路を示している。図２、および、図３の説明は省略する。

第２の実施例の撮像装置ＩＭ１の各部の動作は、第１の実施例と同じである。すなわち、図５および図６に示された制御信号に基づいて、撮像装置ＩＭ１は動作する。ただし、短時間露光（第２の露光期間）によって生じる電荷に基づく信号を読み出す際には、本実施例の撮像装置ＩＭ１は、第１の実施例とは異なる動作を行う。

本実施例では、第１の実施例と同様に、露光期間の長さの異なる複数の画像用データを合成してダイナミックレンジを拡大することが可能である。露光期間についての定義は、第１の実施例で説明しているため、ここでは重複する説明を省略する。

図１０のタイミングチャート図を参照して、露光期間の長さが異なる複数の画像用データを得るための動作を説明する。図１０は、図５、図６に示された信号の一部を表す。図５、図６、または、図８と同じ要素には、同じ符号を付し、詳細な説明は省略する。長時間の露光（第１の露光期間）により得られる信号を読み出す時の動作は、図８と同様である。

本実施例では、短時間露光（第２の露光期間）により生じた電荷に基づくデジタル信号Ｄを読み出す際に、増幅回路１０５のゲインを固定する。図１０において、画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合を、増幅信号Ｖａｍｐ＿Ｈが表している。画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい場合を、増幅信号Ｖａｍｐ＿Ｌが表している。また、図１０は、それぞれの場合の増幅回路１０５のゲインの状態を、ゲイン（Ｖａｍｐ＿Ｈ）、および、ゲイン（Ｖａｍｐ＿Ｌ）で示している。図１０が示す通り、いずれの場合においても、増幅回路１０５のゲインは、相対的に低いゲイン（第１のゲイン）に制御される。図１０の長時間露光（第１の露光期間）での動作と、短時間露光（第２の露光期間）での動作とを比較すると、長時間露光では相対的に高いゲインが適用されるような信号値であっても、短時間露光では相対的に低いゲインが適用される。

増幅回路１０５のゲインを固定する方法は、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈの比較の結果にかかわらずゲインを制御する、当該比較を行わずに増幅回路１０５のゲインを制御する、当該比較の閾値Ｖｔｈを変更するなどを、少なくとも含む。

本実施例では、比較の結果にかかわらずにゲインを制御する方法を説明する。図１１は増幅回路１０５のゲインを制御する制御回路１０６の一例である。図４に示された制御回路１０６との差異として、本実施例の制御回路１０６は出力段にＯＲゲートを含む。ＯＲゲートには、ＡＮＤゲートからの出力と、制御信号φＬＧとが入力される。制御信号φＬＧがＨレベルのときは、ＡＮＤゲートからの出力にかかわらず、つまり、比較の結果にかかわらず、判定信号ＡＴＴがＨレベルとなる。このように、制御信号φＬＧおよびＯＲゲートにより、比較の結果にかかわらず判定信号ＡＴＴをＨレベルとし、ゲインを固定することができる。この例では、ゲインは１／４倍（相対的に低いゲイン）に固定される。なお、ＯＲゲートに代えてＡＮＤゲートを用いることで、ゲインを１倍（相対的に高いゲイン）に固定することができる。このように、制御回路１０６の出力段に論理ゲートが配されることで、判定信号ＡＴＴのレベルを固定することができる。

図１０が示すように、長時間露光（第１の露光期間）の後の“１Ｈ”期間では、制御信号φＬＧがＬレベルである。つまり、判定信号ＡＴＴのレベルは、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈの比較の結果に応じて変化する。一方で、短時間露光（第２の露光期間）の後の“１Ｈ”期間では、制御信号φＬＧがＨレベルである。そのため、増幅回路１０５のゲインが１／４倍（相対的に低いゲイン）に固定される。

なお、長時間露光（第１の露光期間）の後の“１Ｈ”期間では、リセットレベル信号に適用されるゲインは１倍である。短時間露光（第２の露光期間）の後の期間では、リセットレベル信号に適用されるゲインは１／４倍である。

図１２は輝度とデジタル信号Ｄの信号値の関係を模式的に示す図である。横軸が輝度を示し、縦軸がデジタル信号Ｄの信号値を示す。輝度とデジタル信号Ｄの信号値との関係は、輝度に応じて、増幅回路１０５のゲイン、および、露光期間の長さの異なる３つの組み合わせから選択される。

輝度の範囲について、低い方から順に、範囲ＬＬ，範囲ＬＨ、範囲ＳＨと呼ぶ。範囲ＬＬおよび範囲ＬＨでは、長時間の露光（第１の露光期間）によって得られたデジタル信号Ｄが用いられる。これらを総称して、長時間露光信号と呼ぶ。長時間露光信号は、図７での説明と同様に、高ゲイン信号と低ゲイン信号を含む。すなわち、輝度が低輝度側の範囲ＬＬに含まれる場合、増幅回路１０５のゲインは、相対的に高いゲイン（第２のゲイン）に制御される。輝度が高輝度側の範囲ＬＨに含まれる場合、増幅回路１０５のゲインは、相対的に低いゲイン（第１のゲイン）に制御される。また、図７での説明と同様に、低ゲイン信号に対してはゲイン比に応じた補正が行われる。

範囲ＬＨよりも高輝度側の範囲ＳＨでは、短時間の露光（第２の露光期間）によって得られたデジタル信号Ｄが用いられる。これを短時間露光信号と呼ぶ。短時間露光においては、増幅回路１０５のゲインが相対的に低いゲイン（第１のゲイン）に固定される。そのため、短時間露光信号としては、低ゲイン信号だけが読み出される。短時間露光信号に対しては、第１の実施例と同様に、ゲイン比に応じた補正、および、露光期間の長さの比に応じた補正を行う。

図１２に示されるように、本実施例では、短時間露光信号として高ゲイン信号が用いられない。換言すると、図９に示された範囲ＳＬに相当する範囲が存在しない。そのため輝度が範囲ＳＨの中の低輝度側である場合、画素信号の信号値が小さく、かつ、増幅回路１０５のゲインが低いため、回路のノイズに対する信号値の比（ＳＮ比）が相対的に小さくなる場合がある。ＳＮ比の小さいデジタル信号に対して露光期間の補正のためにゲインをかけるため、相対的に回路のノイズの影響が強くなる。

しかし、長時間の露光期間（第１の露光期間）の長さと短時間の露光期間（第２の露光期間）の長さとの比、増幅回路１０５のゲインの比などを適切に設定することにより、範囲ＳＨからノイズが生じやすい部分を除外できる。

この点について図９を基準として説明する。図９では、先述の通り、長時間露光信号および短時間露光信号のそれぞれに、高ゲイン信号および低ゲイン信号が使われている。露光期間の長さの比、および、ゲイン比を変えたときに、範囲ＬＬ、範囲ＬＨ、範囲ＳＬ、範囲ＳＨがどのように変化するかを説明する。

第１の露光期間（長時間露光）が長くなると、範囲ＬＬと範囲ＬＨとの合計の範囲は短くなる。第１の露光期間（長時間露光）が短くなると、範囲ＬＬと範囲ＬＨとの合計の範囲は広くなる。被写体の低輝度の部分には長時間露光信号を用いるため、範囲ＬＬと範囲ＬＨとの合計の範囲は、輝度が０の点を起点に変化する。

第２の露光期間（短時間露光）についても同様である。第２の露光期間（短時間露光）が長くなると、範囲ＳＬと範囲ＳＨとの合計の範囲は短くなる。第２の露光期間（短時間露光）が短くなると、範囲ＳＬと範囲ＳＨとの合計の範囲は広くなる。短時間露光信号も、低輝度側（範囲ＬＬや範囲ＬＨ）の輝度に対しても信号値を持つ。このことを図９などにおいては細い直線が表現している。この点を考慮すると、範囲ＳＬと範囲ＳＨとの合計の範囲は、輝度が０の点を起点に変化する。

具体例として、図９の場合に比べて第１の露光期間（長時間露光）が短い例を、図１３に示す。図１３は、図９と同様に、輝度とデジタル信号Ｄの信号値の関係を模式的に示す図である。

図９と比較すると、範囲ＬＬと範囲ＬＨの合計の範囲が広くなっている。一方で、短時間露光（第２の露光期間）については条件を変えていない。その結果、範囲ＳＬが狭くなっている。より正確には、範囲ＬＨの高輝度側（範囲ＳＬに近い部分）では、長時間信号の低ゲイン信号または短時間露光の高ゲイン信号のいずれを使ってもよいということである。このようにして、さらに第１の露光期間（長時間露光）を短くすることで、範囲ＬＬと範囲ＬＨの合計の範囲が広がり、図９の範囲ＳＬの全部をカバーする。結果として、短時間露光の高ゲイン信号を使う必要がなくなる。短時間露光の高ゲイン信号の代わりに使われる長時間露光の低ゲイン信号は、比較的高い信号値を持っている。そのため、ＳＮ比も比較的高い。結果としてノイズを低減することができる。

増幅回路１０５のゲインについて、ゲインが高くなると各範囲の幅が狭くなる。一方、ゲインが低くなると、各範囲の幅が広くなる。具体例として、相対的に高いゲイン（第２のゲイン）が図９の場合に比べて高い例を、図１４に示す。図１４は、図９と同様に、輝度とデジタル信号Ｄの信号値の関係を模式的に示す図である。相対的に低いゲイン（第１のゲイン）は図９の場合と同じである。

図１４が示すように、範囲ＬＬ、および、範囲ＳＬが狭くなっている。それに対して、範囲ＬＨおよび範囲ＳＨは広くなっている。ゲインが高くなったため、より低輝度で高ゲイン信号が飽和レベルに達するためである。

このようにゲイン比を変えることにより、範囲ＬＬ、範囲ＬＨ、範囲ＳＬ、および、範囲ＳＨを変化させることができる。例えば、長時間露光（第１の露光期間）における相対的に低いゲインを下げて、短時間露光（第２の露光期間）における相対的に高いゲインを上げることで、短時間露光の高ゲイン信号を使う範囲（範囲ＳＬ）を狭くすることができる。

次に、第２の露光期間（短時間露光）により生じた電荷に基づく画素信号を処理する際に、増幅回路１０５のゲインを固定することの効果を説明する。ゲインを固定することにより、異なるゲイン間でのオフセットに起因するノイズを低減することができる。

増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較に応じて、画素信号に適用するゲインを、複数のゲインの１つに選択的に制御する場合、リセットレベル信号に適用されるゲインと、画素信号に適用されるゲインとが異なることがある。増幅回路１０５のゲインが異なる場合には、スイッチのフィードスルー等に起因して、出力される増幅信号Ｖａｍｐが異なるオフセットを有する可能性がある。つまり、リセットレベル信号の増幅信号Ｖａｍｐと、画素信号の増幅信号Ｖａｍｐとの間には、ゲインの違いのほかに、オフセットの違いも生じうる。

相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓｍａｐｌｉｎｇ）を行う場合、画素信号とリセットレベル信号との差分処理を行う。適用されているゲインが違うときは、ゲイン比に応じて信号値を増幅したうえで、差分処理が行われる。しかし、この時に上述のオフセットの差が増幅されるため、結果としてノイズが生じる可能性がある。

列信号処理部１０４は、互いに異なるオフセットを有することが多いため、オフセットの差に起因したノイズを補正により低減することは困難である。特に、短時間露光信号は、画像合成の際に露光期間の長さの比に応じてゲインがかけられる。そのため、当該ノイズがさらに目立ちやすくなる。

これに対して、第２の露光期間（短時間露光）により生じた電荷に基づく画素信号を処理する際に、増幅回路１０５のゲインを固定することで、画素信号に適用されるゲインとリセットレベル信号に適用されるゲインとをほぼ同じに制御することができる。これにより、画素信号とリセットレベル信号との間のオフセットの差を低減することができる。そのため、増幅信号Ｖａｍｐに含まれるオフセット成分は、差分処理によりキャンセルすることができる。結果として、ノイズを低減することができるのである。

続いて、変形例として、増幅回路１０５のゲインを固定する別の方法を説明する。増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較を行わずに増幅回路１０５のゲインを制御することで、増幅回路１０５のゲインを固定することができる。

例えば、図１１の制御回路１０６に含まれる比較器ＣＭＰ１、Ｄラッチ回路ＤＬ、および、ＡＮＤゲートの少なくとも１つに電源が供給されなければ、比較は行われない。したがって、短時間露光（第２の露光期間）の後の“１Ｈ”期間には、比較器ＣＭＰ１、Ｄラッチ回路ＤＬ、および、ＡＮＤゲートの回路の電源を落とす。

なお、この場合に、判定信号ＡＴＴをＨレベルとするため、ＯＲゲートには電源を供給し、そして、制御信号φＬＧはＨレベルとすればよい。あるいは、別の回路が、増幅回路１０５、および、メモリ１１０ＤにＨレベルの判定信号ＡＴＴに相当する信号を供給してもよい。

変形例として、増幅回路１０５のゲインを固定する別の方法を説明する。例えば、比較に用いられる閾値Ｖｔｈを変更することで、増幅回路１０５のゲインを実質的に固定することができる。この変形例では、図４に示された制御回路１０６が用いられてもよい。

図５で説明した通り、画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐが閾値Ｖｔｈよりも大きい場合に、増幅回路１０５のゲインは、相対的に低いゲインに制御される。そこで、閾値Ｖｔｈを増幅信号Ｖａｍｐが取り得る信号値よりも小さく設定することで、比較の結果を示す判定信号ＡＴＴを常にＨレベルとすることができる。また、閾値Ｖｔｈを増幅信号Ｖａｍｐが取り得る信号値よりも大きく設定することで、判定信号ＡＴＴを常にＨレベルとすることができる。

このように、長時間露光（第１の露光期間）により生じた電荷に基づく画素信号との比較に用いられる閾値Ｖｔｈと、短時間露光（第２の露光期間）により生じた電荷に基づく画素信号との比較に用いられる閾値Ｖｔｈとが異なる。このような方法によって、増幅回路１０５のゲインを固定することができる。

閾値Ｖｔｈを変更することにより、画素信号の信号値と適用されるゲインとの関係は次の通りとなる。長時間露光（第１の露光期間）により生じた電荷に基づく画素信号の信号値が第１の範囲に含まれる場合に、当該画素信号に適用するゲインを相対的に低いゲイン（第１のゲイン）に制御する。当該画素信号の信号値が第１の範囲よりも低輝度側である第２の範囲に含まれる場合に、当該信号に適用するゲインを相対的に高いゲイン（第２のゲイン）に制御する。これに対して、短時間露光（第２の露光期間）により生じた電荷に基づく画素信号に対しては、当該画素信号が第２の範囲に含まれる場合と第１の範囲含まれる場合との両方で、相対的に低いゲイン（第１のゲイン）を適用する。

本実施例では、画素信号に適用されるゲインと、リセットレベル信号に適用されるゲインとが同じである。別の観点で言えば、画素信号が画素１００から出力される前に、当該画素信号に適用されるゲインが、複数のゲインのうちの１つに予め制御されている。つまり、増幅回路１０５のゲインをリセットレベル信号に適用されるゲインに制御した後、ゲインを変更する制御を行わない。この点は、ゲインを固定することの１つの側面である。

以上、ゲインを固定するための方法の変形例を説明したが、ゲインを固定するという技術は上記の例に限定されるものではない。

本実施例のように、増幅回路１０５のゲインを固定する場合、メモリ１１０Ｄに保持される信号は既知である。具体的に、相対的に高いゲインが適用される場合、メモリ１１０ＤにはＬレベルが保持される。相対的に低いゲインが適用される場合、メモリ１１０ＤにはＨレベルが保持される。

そのため、例えば、メモリ１１０Ｄへの判定信号ＡＴＴの保持を行わなくてもよい。この場合、メモリ１１０Ｄへの書き込みに電力が使われないため、消費電力が低減できる。また、メモリ１１０Ｄからの信号の読み出しを省略またはスキップしてもよい。これにより消費電力を低減できる。または、撮像装置ＩＭ１から出力されるデータの量が減るため、高速化が可能である。

以上に説明した通り、第２の実施例では、長時間露光（第１の露光期間）の後の“１Ｈ”期間には、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較、および、当該比較の結果に応じたゲインの制御が行われる。一方、短い露光期間（第２の露光期間）で生じた電荷に基づく画素信号を読み出す際は、増幅回路１０５のゲインが固定される。このような構成により、ノイズを低減することができる。

本実施例についても、ゲイン比に応じた補正、異なる長さの露光期間の画像の合成、および、合成の際の露光期間の長さの比に応じた補正などは、ダイナミックレンジ拡大の効果を得るため、あるいは、ノイズ低減の効果を得るために必須の構成ではない。本発明に含まれない外部の画像処理部によって、上述の処理を行うことができるためである。

［実施例３］
第３の実施例について説明する。第３の実施例では、列信号処理部１０４の構成が、第１の実施例乃至第２の実施例の列信号処理部１０４と異なる。そこで、以下では主として、第１の実施例および第２の実施例と異なる部分を説明し、第１の実施例または第２の実施例と同様の部分についての説明を省略する。

図１５の回路ブロック図を参照して、第３の実施例に係る撮像装置ＩＭ１の構成について説明する。列信号処理部１０４を除く構成は、図１と同じである。そのため、図１と同じ部分については、図１についての説明が全て図１５に適用される。ここでの説明は省略する。

図１では、増幅回路１０５から出力された増幅信号Ｖａｍｐは、制御回路１０６および比較回路１０８に入力される。一方、本実施例においては、図１５が示す通り、増幅信号Ｖａｍｐは、比較回路１０８に入力される。そして、比較回路１０８の出力ノードが、制御回路１０６に接続される。このような構成により、比較回路１０８は、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較、および、増幅信号ＶａｍｐとＡＤ変換のための参照信号との比較の両方を行う。

そのため、参照信号発生回路１０７は、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較を行う時には、比較回路１０８へ閾値Ｖｔｈを表す信号を供給する。また、増幅信号ＶａｍｐのＡＤ変換を行う時には、参照信号発生回路１０７は、第１の実施例で説明したＡＤ変換のための参照信号を、比較回路１０８へ供給する。

図１６は、制御回路１０６の等価回路を示す。制御回路１０６は、インバータＩＮＶ１、Ｄラッチ回路、および、ラッチ回路ＤＬの後段に接続されたＡＮＤゲートを含む。また、図１６（ｂ）が示すように、制御回路１０６はＡＮＤゲートの後段に論理ゲートを含んでいてもよい。図４または図１１と比較すると、比較器ＣＭＰ１の代わりに、インバータＩＮＶ１が配される。本実施例では、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較は比較回路１０８によって行われるため、制御回路１０６が、比較器を含まなくてもよい。第１の実施例および第２の実施例と同様に、制御回路１０６から出力された判定信号ＡＴＴは、増幅回路１０５およびメモリ部１１０のメモリ１１０Ｄに入力される。

列信号処理部１０４のその他の構成は、第１の実施例または第２の実施例と同じである。そのため詳細な説明は省略する。

続いて、図１７、および、図１８のタイミングチャート図を参照して、画素信号の読み出し動作について説明する。全体制御部１１３が、垂直走査回路１０３、水平走査回路１１１などの撮像装置ＩＭ１の各構成要素の動作を制御する。

図１７、および、図１８は、それぞれ、第１の実施例の図５、および、図６に対応する。図５のタイミングチャート図は、画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合を示す。一方、図６のタイミングチャート図は、画素信号を１倍のゲインで増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい場合を示す。

第１の実施例との差異としては、リセットレベル信号のＡＤ変換を行う期間（図中の矢印Ｎ）と画素信号のＡＤ変換を行う期間（図中の矢印Ｓ）との間の期間Ｊに、参照信号Ｖｒの信号値が閾値Ｖｔｈとなっている。これ以外の動作は、図５、および、図６と同じである。そのため、第１の実施例での説明を援用し、詳細な説明は省略する。

期間Ｊでは、参照信号発生回路１０７の出力する参照信号Ｖｒの信号値が閾値Ｖｔｈである。この期間には、制御信号φＰＴＸがＨレベルになるため、画素１００において電荷の転送が行われる。これにより、画素１００から画素信号が出力され、増幅回路１０５の出力する増幅信号Ｖａｍｐが画素信号に対応した信号値を取る。比較回路１０８には、増幅信号Ｖａｍｐと閾値Ｖｔｈを示す参照信号Ｖｒとが入力されている。そのため、比較回路１０８が、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとを比較する。

図１７では、１倍のゲインで増幅された増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈより大きい。そのため、比較回路１０８から出力される比較信号ＶｃｍｐはＬレベルである。Ｌレベルの比較信号Ｖｃｍｐが制御回路１０６に入力されることで、制御回路１０６はＨレベルの判定信号ＡＴＴを出力する。その結果、増幅回路１０５のゲインは、相対的に低いゲイン（第１のゲイン）である１／４倍のゲインに制御される。

図１８では、１倍のゲインで増幅された増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈより小さい。そのため、比較回路１０８から出力される比較信号ＶｃｍｐはＨレベルである。Ｈレベルの比較信号Ｖｃｍｐが制御回路１０６に入力されることで、制御回路１０６はＬレベルの判定信号ＡＴＴを出力する。その結果、増幅回路１０５のゲインは、相対的に高いゲイン（第２のゲイン）である１倍のゲインに制御される。

その他の動作は、第１の実施例または第２の実施例と同じである。本実施例においても、長時間露光（第１の露光期間）により生じた電荷に基づくデジタル信号Ｄと、短時間露光（第２の露光期間）により生じた電荷に基づくデジタル信号Ｄとが読み出される。

第１の実施例のように、長時間露光（第１の露光期間）の後の“１Ｈ”期間、および、短時間露光（第２の露光期間）の後の“１Ｈ”期間の両方において、制御回路１０６は、比較の結果に応じてゲインを制御してもよい。このような動作は図８に示されている。図８においては、リセットレベル信号のＡＤ変換を行う期間と画素信号のＡＤ変換を行う期間との間の期間に、参照信号Ｖｒの信号値が一定である。本実施例においては、図１７または図１８が示すように、この期間の参照信号Ｖｒの信号値を閾値Ｖｔｈとすればよい。

あるいは、第２の実施例のように、短時間露光（第２の露光期間）の後の“１Ｈ”期間において、制御回路１０６は増幅回路１０５のゲインを固定してもよい。このような動作は図１０に示されている。図１０においては、リセットレベル信号のＡＤ変換を行う期間と画素信号のＡＤ変換を行う期間との間の期間に、参照信号Ｖｒの信号値が一定である。本実施例においては、図１７または図１８が示すように、この期間の参照信号Ｖｒの信号値を閾値Ｖｔｈとすればよい。ゲインを固定する方法は、第２の実施例と同様に、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈの比較の結果にかかわらずゲインを制御する、当該比較を行わずに増幅回路１０５のゲインを制御する、当該比較の閾値Ｖｔｈを変更するなどを、少なくとも含む。

以上に説明した通り、第１の実施例のように、長時間の露光（第１の露光期間）により生じた電荷に基づくデジタル信号Ｄ、および、短時間の露光（第２の露光期間）により生じた電荷に基づくデジタル信号Ｄが読み出される。そして、デジタル信号Ｄの読み出しに際して、画素１００の出力する画素信号の信号値と閾値Ｖｔｈとの比較に応じて、当該画素信号に適用するゲインを制御する。このような構成により、ダイナミックレンジを拡大することが可能である。

また、第２の実施例のように、長時間露光（第１の露光期間）の後の“１Ｈ”期間には、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較、および、当該比較の結果に応じたゲインの制御が行われる。一方、短い露光期間（第２の露光期間）で生じた電荷に基づく画素信号を読み出す際は、増幅回路１０５のゲインが固定される。このような構成により、ノイズを低減することができる。

また、本実施例では、比較回路１０８が、増幅信号Ｖａｍｐの信号値と閾値Ｖｔｈとの比較、および、増幅信号Ｖａｍｐと参照信号Ｖｒとの比較の両方を行う。そのため、回路規模を縮小することができる。

［実施例４］
第４の実施例について説明する。第４の実施例では、列信号処理部１０４の構成が、第１の実施例乃至第３の実施例の列信号処理部１０４と異なる。そこで、以下では主として、実施例１と異なる部分を説明し、第１の実施例乃至第３の実施例のいずれかと同様の部分についての説明を適宜省略する。

第１の実施例乃至第３の実施例では、増幅回路１０５のゲインを変更することで、列信号処理部１０４が可変のゲインで画素信号を処理している。一方、本実施例では、ＡＤ変換部によるＡＤ変換の変換ゲインが可変である。具体的には、参照信号発生回路１０７が、信号値の単位時間当たりの変化率の異なる複数の参照信号Ｖｒを出力する。つまり、本実施例の参照信号発生回路１０７は、ランプ信号の傾きを変化させる。このような構成により、列信号処理部１０４が可変のゲインで画素信号を処理する。

図１９の回路ブロック図を参照して、第４の実施例に係る撮像装置ＩＭ１の構成について説明する。列信号処理部１０４の構成、および、参照信号発生回路１０７と列信号処理部１０４との接続を除き、本実施例の撮像装置ＩＭ１の構成は、第１の実施例乃至第３の実施例の撮像装置ＩＭ１の構成と同じである。

第４の実施例の画素１００、および、列信号処理部１０４に含まれる増幅回路１０５は、第１の実施例と同じである。すなわち、図２、図３が、ぞれぞれ、本実施例の画素１００、および、増幅回路１０５の等価回路を示している。図２、および、図３の説明は省略する。なお、本実施例の増幅回路１０５は可変のゲインを持つ必要はない。そのため、図３に示された、スイッチＳ２、容量ＣＦＢ２は省略されてもよい。

本実施例においては、図１９が示す通り、増幅信号Ｖａｍｐは、比較回路１０８に入力される。そして、比較回路１０８の出力ノードが、制御回路１０６に接続される。なお、第１の実施例または第２の実施例のように、増幅回路１０５の出力する増幅信号Ｖａｍｐが、比較回路１０８および制御回路１０６の両方に入力されてもよい。

参照信号発生回路１０７は第１の参照信号ＶｒＬと第２の参照信号ＶｒＨとを出力する。第１の参照信号ＶｒＬおよび第２の参照信号ＶｒＨは、それぞれの信号線を介して、制御回路１０６に入力される。第２の参照信号ＶｒＨの信号値の単位時間当たりの変化量は、第１の参照信号ＶｒＬの信号値の単位時間当たりの変化量よりも大きい。２つの参照信号の当該変化量の比が、ＡＤ変換ゲインの比に相当する。変化量が小さいほど、参照信号Ｖｒの信号値が変化を開始してから比較回路１０８の出力する比較信号Ｖｃｍｐが反転するまでの時間が長くなる。つまり、より大きな信号値を持つデジタル信号に変換される。そのため、参照信号Ｖｒの信号値の単位時間当たりの変化量が小さいほど、ＡＤ変換ゲインが高いと言える。別の観点では、変化量が小さいほど、ＡＤ変換における１ビット当たりの分解能が小さくなる。つまり、ＡＤ変換ゲインを高くすることで、ＡＤ変換の精度（分解能）を向上させることができる。

制御回路１０６は、第３の実施例と同様に、比較回路１０８の出力する比較信号Ｖｃｍｐに応じた判定信号ＡＴＴを出力する。さらに、本実施例の制御回路１０６は、第１の参照信号ＶｒＬと第２の参照信号ＶｒＨとの一方を選択し、選択された参照信号Ｖｒを比較回路１０８に出力する。

図２０は、制御回路１０６の等価回路を示す。制御回路１０６は、インバータＩＮＶ１、Ｄラッチ回路ＤＬ、Ｄラッチ回路ＤＬの後段に接続されたＡＮＤゲート、および、ＡＮＤゲートの後段に接続されたＯＲゲートを含む。これらの構成は、図１６（ｂ）と同じである。増幅回路１０５の出力ノードが制御回路１０６に接続される変形例では、制御回路１０６は、インバータＩＮＶ１の代わりに、図１または図１１に示された比較器ＣＭＰ１を含む。

本実施例の制御回路１０６は、さらに、インバータＩＮＶ２、スイッチＳ３、および、スイッチＳ４を含む。インバータＩＮＶ２は、判定信号ＡＴＴを反転し、反転信号ＡＴＴＢを出力する。スイッチＳ３は、判定信号ＡＴＴによって制御される。判定信号ＡＴＴがＨレベルの時に、スイッチＳ３はオン状態である。スイッチＳ３がオンすることで、第２の参照信号ＶｒＨが、参照信号Ｖｒとして、制御回路１０６から出力される。スイッチＳ４は、反転信号ＡＴＴＢによって制御される。反転信号ＡＴＴＢがＨレベルの時に、スイッチＳ４はオン状態である。スイッチＳ４がオンすることで、第１の参照信号ＶｒＬが、参照信号Ｖｒとして、制御回路１０６から出力される。スイッチＳ３とスイッチＳ４とが相補的に動作するため、制御回路１０６は、第１の参照信号ＶｒＬと第２の参照信号ＶｒＨとの一方を選択することができる。

続いて、図２１、および、図２２を参照して、撮像装置ＩＭ１の動作について説明する。撮像装置ＩＭ１の動作は、全体制御部１１３が撮像装置ＩＭ１の各構成要素の動作を制御することによって行われる。画素１００の動作は、全体制御部１１３が垂直走査回路１０３を制御することによって行われる。また、メモリ部１１０から出力部１１２へのデジタル信号の読出しは、全体制御部１１３が水平走査回路１１１を制御することによって行われる。

図２１のタイミングチャート図は、画素信号を増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合を示す。一方、図２２のタイミングチャート図は、画素信号を増幅することによって得られる増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい場合を示す。

電荷の転送が開始されるまでの動作は、図５と同じである。垂直走査回路１０３は、図５に示す期間を通じて、画素信号の読み出し動作の対象の画素１００に供給する制御信号φＰＳＥＬをＨレベルに維持し、他の画素１００に供給する制御信号φＰＳＥＬをＬレベルに維持する。制御信号φＰＳＥＬがＨレベルであることにより、画素１００の増幅部がアナログ信号（画素信号およびリセットレベル信号）を出力線１０２に出力する。

続いて、垂直走査回路１０３は、制御信号φＰＲＳを一時的にＨレベルにすることによって、画素１００をリセットする。これにより、リセットレベル信号が出力線１０２に読み出される。全体制御部１１３は、画素１００のリセットと並行して、制御信号φＡＲＳ、φＦＢ２をそれぞれ一時的にＨレベルにすることによって、容量ＣＦＢ１、容量ＣＦＢ２、容量ＣＩＮに蓄積された電荷をリセットする。垂直走査回路１０３が制御信号φＰＲＳをＬレベルにした後、全体制御部１１３は、制御信号φＡＲＳ、φＦＢ２をそれぞれＬレベルにする。

このとき、制御信号φＤＬＯおよび制御信号φＬＧは、いずれもＬレベルである。そのため、制御回路１０６が出力する判定信号ＡＴＴはＬレベルとなる。一方、反転信号ＡＴＴＢはＨレベルである。スイッチＳ３がオフし、スイッチＳ４がオンするので、制御回路１０６は、第１の参照信号ＶｒＬを出力する。

その後、参照信号発生回路１０７は、全体制御部１１３からの指示に応じて、第１の参照信号ＶｒＬの信号値および第２の参照信号ＶｒＨの信号値を、時間の経過に対して一定の比率で変化させ始める。なお、第１の参照信号ＶｒＬの信号値の単位時間当たりの変化量と、第２の参照信号ＶｒＨの単位時間当たりの変化量は異なる。これと同時に、カウンタ１０９は、全体制御部１１３からの指示に応じて、出力するカウント値をゼロからカウントアップし始める。

前述の通り、制御回路１０６は、第１の参照信号ＶｒＬを、参照信号Ｖｒとして出力している。参照信号Ｖｒが増幅信号Ｖａｍｐより大きくなり、比較信号ＶｃｍｐがＬレベルからＨレベルに切り替わる時点で、メモリ１１０Ｎは、その時点のカウンタ１０９からのカウント値を保持する。このカウント値は、リセットレベル信号から変換されたデジタル信号に対応する。以下、リセットレベル信号から変換されたデジタル信号をデジタル信号Ｎと呼ぶ。

その後、垂直走査回路１０３が制御信号φＰＴＸを一時的にＨレベルにすることによって、転送トランジスタＭＴＸがオンする。この時には、所定の長さの露光期間に生じた電荷がフォトダイオードＰＤに蓄積されている。そのため、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送される。これにより、画素１００から画素信号が出力線１０２に読み出され、出力線信号Ｖｖｌの信号値が画素信号に応じた値となる。画素１００のリセット時の出力線信号Ｖｖｌの信号値を基準として、電荷が転送された後の出力線信号Ｖｖｌの信号値の変化量をΔＶｖｌで表す。

電荷の転送と並行して、参照信号発生回路１０７は、第１の参照信号ＶｒＨの信号値を閾値Ｖｔｈとする。これにより、比較回路１０８が、画素信号に対応した増幅信号Ｖａｍｐの信号値と、閾値Ｖｔｈとの比較を行うことができる。図２１に示された例では、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい。そのため、比較回路１０８の出力する比較信号Ｖｃｍｐは、Ｌレベルである。一方、図２２に示された例では、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい。そのため、比較回路１０８の出力する比較信号Ｖｃｍｐは、Ｈレベルである。

垂直走査回路１０３が制御信号φＰＴＸをＬレベルにしてから所定の時間が経過した後に、全体制御部１１３は、制御信号φＤＬを一時的にＨレベルにする。これにより、Ｄラッチ回路ＤＬは比較信号Ｖｃｍｐに応じた信号値を保持する。制御回路１０６はインバータＩＮＶ１を含むので、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合（図２１）には、ＨレベルがＤラッチ回路ＤＬに保持される。増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも小さい場合（図２２）には、ＬレベルがＤラッチ回路ＤＬに保持される。その後、全体制御部１１３は、制御信号φＤＬＯをＨレベルにする。図２１においては、判定信号ＡＴＴがＨレベルとなる。一方、図２２においては、判定信号ＡＴＴがＬレベルとなる。

図２１に示す例では、判定信号ＡＴＴがＨレベルであるため、制御回路１０６は第２の参照信号ＶｒＨを出力する。具体的には、制御回路１０６のスイッチＳ３がオンし、スイッチＳ４がオフする。その後、参照信号発生回路１０７は、第２の参照信号ＶｒＨの信号値を変化させ始める。このようにして、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも大きい場合、相対的に低い変換ゲイン（第１のゲイン）で、画素信号がデジタル信号に変換される。

一方、図２２に示す例では、判定信号ＡＴＴがＬレベルであるため、制御回路１０６は第１の参照信号ＶｒＬを出力する。具体的には、制御回路１０６のスイッチＳ３がオフし、スイッチＳ４がオンする。その後、参照信号発生回路１０７は、第１の参照信号ＶｒＬの信号値を変化させ始める。このようにして、増幅信号Ｖａｍｐの信号値が閾値Ｖｔｈよりも低い場合、相対的に高い変換ゲイン（第２のゲイン）で、画素信号がデジタル信号に変換される。

本実施例では、第２の参照信号ＶｒＨの単位時間当たりの変化量は、第１の参照信号ＶｒＬの単位時間当たりの変化量の４倍である。そのため、変換ゲインの比は４である。図２１および図２２は、便宜的に、変換ゲインが１倍または４倍である表示しているが、ＡＤ変換において、変換ゲインの絶対値自体は本質的な意味を持たない。

本実施例におけるカウンタ１０９の動作は、第１の実施例と同じである。また、判定信号ＡＴＴの信号値、デジタル信号Ｎ、および、デジタル信号Ｓを、それぞれ、メモリ１１０Ｄ、メモリ１１０Ｎ、メモリ１１０Ｓに保持することは、第１の実施例と同じである。これらの説明は省略する。

以上に説明した通り、本実施例では、参照信号発生回路１０７が、異なる変化率で変化する信号値を持つ第１の参照信号ＶｒＬおよび第２の参照信号ＶｒＨを出力する。これにより、ＡＤ変換部の変換ゲインが可変である。それ以外の点は、第１の実施例乃至第３の実施例と同じである。

例えば、ダイナミックレンジの拡大のため、長時間露光（第１の露光期間）により生じた電荷に基づく信号の読み出し、および、短時間露光（第２の露光期間）により生じた電荷に基づく信号の読み出しを行う。これらの読み出し動作の両方で、画素信号に応じた変換ゲインの制御を行ってもよい。あるいは、これらの読み出し動作のうち一方だけで、画素信号に応じた変換ゲインの制御を行い、他方では、変換ゲインが固定されるように制御してもよい。

このような構成により、第１の実施例乃至第３の実施例と同様に、ダイナミックレンジを拡大することが可能である。

［実施例５］
第５の実施例について説明する。第４の実施例では、列信号処理部１０４の構成が、第４の実施例の列信号処理部１０４と異なる。そこで、以下では主として、実施例１と異なる部分を説明し、実施例１と同様の部分についての説明を適宜省略する。

図２３の回路ブロック図を参照して、第４の実施例に係る撮像装置ＩＭ１の構成について説明する。本実施例では、列信号処理部１０４が図１などに示された増幅回路１０５を有していない。そのため、出力線１０２が、比較回路１０８に接続されている。このような構成により、出力線信号Ｖｖｌ（画素信号およびリセットレベル信号）が、比較回路１０８に入力される。その他の構成は、第４の実施例と同じである。

続いて、図２４、および、図２５を参照して、撮像装置ＩＭ１の動作について説明する。図２１および図２２との差異としては、参照信号Ｖｒの信号値の変化する方向が逆である。第４の実施例では、増幅回路１０５が反転増幅器ＡＭＰを含んでいたため、電荷の転送により、増幅信号Ｖａｍｐの信号値は高い方向（Ｈレベル側）へ変化した。それに合わせて、参照信号Ｖｒの信号値は高い方向へ変化していた。一方、本実施例では、出力線信号Ｖｖｌが比較回路１０８に入力される。出力線信号Ｖｖｌの信号値は、電荷の転送に伴い、低い方向（Ｌレベル側）へ変化する。そのため、本実施例では、参照信号Ｖｒの信号値が引く方向へ変化している。そのほかの動作は第４の実施例と同じであるため、説明を省略する。

以上に説明した通り、本実施例では、参照信号発生回路１０７が、異なる変化率で変化する信号値を持つ第１の参照信号ＶｒＬおよび第２の参照信号ＶｒＨを出力する。これにより、ＡＤ変換部の変換ゲインが可変である。それ以外の点は、第１の実施例乃至第３の実施例と同じである。

例えば、ダイナミックレンジの拡大のため、長時間露光（第１の露光期間）により生じた電荷に基づく信号の読み出し、および、短時間露光（第２の露光期間）により生じた電荷に基づく信号の読み出しを行う。これらの読み出し動作の両方で、画素信号に応じた変換ゲインの制御を行ってもよい。あるいは、これらの読み出し動作のうち一方だけで、画素信号に応じた変換ゲインの制御を行い、他方では、変換ゲインが固定されるように制御してもよい。

このような構成により、第１の実施例乃至第３の実施例と同様に、ダイナミックレンジを拡大することが可能である。

［駆動方法の実施例］
実施例１～実施例５の撮像装置ＩＭにおいて、複数の画像を取得する動作、つまり、動画撮影について説明する。各実施例において、１つの行の画素１００から画素信号を１回読み出すための動作（例えば、実施例１の図５および図６）が説明された。この読み出し動作が、複数の行の画素１００に対して、順に行われることによって、１つの画像が取得される。

図２６（ａ）は、画素アレイ１０１の各行における画素信号の読み出しのタイミングを模式的に示す。図２６（ａ）の縦軸は、行番号を表している。図２６（ａ）の横軸は、時間を表している。

図２６（ａ）は、４つの期間２２０ａ～２２０ｄを示している。期間２２０ａでは、短時間露光が行われる。期間２２０ｂでは、長時間露光が行われる。期間２２０ｃでは、短時間露光が行われる。期間２２０ｄでは、長時間露光が行われる。図中の四角形が、画素信号を読み出す１回の読み出し動作を表している。また、この例では、読み出し動作と同時に、次の露光期間における蓄積を開始するための光電変換部のリセット動作が行われている。便宜的に、期間２２０ａに行われた露光で蓄積された電荷に基づく画素信号を読み出す動作を、読み出し動作２１０と呼ぶ。同様に、期間２２０ｂに行われた露光で蓄積された電荷に基づく画素信号を読み出す動作を、読み出し動作２３０と呼ぶ。また、期間２２０ｃに行われた露光で蓄積された電荷に基づく画素信号を読み出す動作を、読み出し動作２５０と呼ぶ。なお、図中の矢印は、最初に読み出される行の露光期間に対応している。本実施例では、いわゆるスリットローリングシャッタ動作が行われるため、行ごとに露光期間はずれている。

期間２２０ａに短時間露光が行われる。読み出し動作２１０によって、期間２２０ａに蓄積された信号電荷に基づく信号が読み出される。ここで、各行に対する読み出し動作２１０は、“１Ｈ”期間に行われる。そして、１つの行に対する読み出し動作２１０と、次の行に対する読み出し動作２１０との間隔が、“１Ｈ”期間である。

このとき、各行において、画素信号の読み出しと同時に、次の露光期間を開始するための光電変換部のリセットが行われる。すなわち、読み出し動作２１０は、期間２２０ｂに行われる長時間露光の開始動作である。読み出し動作２３０によって、期間２２０ｂに蓄積された信号電荷に基づく信号が読み出される。このとき、１つの行に対する読み出し動作２３０と、次の行に対する読み出し動作２３０との間隔が、“１Ｈ”期間である。また、読み出し動作２３０によって、次の期間２２０ｃに行われる短時間露光が開始される。

短時間露光の場合、露光時間が短いため、読み出し動作２３０がすべての行において完了する前に、読み出し動作２５０が開始される。各行に対する読み出し動作２５０は、ある行の読み出し動作２３０と次の行の読み出し動作２３０の間に行われる。したがって、撮像装置ＩＭから出力される画素信号を時系列に並べると、図２６（ｂ）のようになる。図２６（ｂ）では、１つのブロックが“１Ｈ”期間に対応する。最初は、読み出し動作２３０によって出力された画素信号（長時間露光に対応）が、“１Ｈ”期間の間隔を置いて連続して出力される。その後、読み出し動作２３０によって出力された画素信号（長時間露光に対応）と、読み出し動作２５０によって出力された画素信号（短時間露光に対応）とが、交互に出力される。最後は、読み出し動作２５０（短時間露光に対応）によって出力された画素信号が、“１Ｈ”期間の間隔を置いて連続して出力される。なお、これらの画素信号は、後段の信号処理部で、図２６（ｂ）の点線で示されるように、２つの画像に構成される。

以上の動作により、短時間露光における露光期間を短くすることができる。露光期間が短くても、前の画像の画素信号の読み出しが完了する前に、次の画像の画素信号を読み出せるからである。結果として、より広いダイナミックレンジを得ることが可能である。

［実施例６］
撮像システムの実施例について説明する。撮像システムとして、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星などがあげられる。図２６に、撮像システムの例としてデジタルスチルカメラのブロック図を示す。

図２７において、１００１はレンズの保護のためのバリアである。１００２は被写体の光学像を撮像装置１００４に結像させるレンズである。１００３はレンズ１００２を通った光量を可変するための絞りである。撮像装置１００４には、上述の各実施例で説明した撮像装置が用いられる。

１００７は撮像装置１００４より出力された画素信号に対して、補正やデータ圧縮などの処理を行い、画像信号を取得する信号処理部である。そして、図２７において、１００８は撮像装置１００４および信号処理部１００７に、各種タイミング信号を出力するタイミング発生部、１００９はデジタルスチルカメラ全体を制御する全体制御部である。１０１０は画像データを一時的に記憶する為のフレームメモリ部である。１０１１は記録媒体に記録または読み出しを行うためのインターフェース部である。１０１２は撮像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体である。１０１３は外部コンピュータ等と通信する為のインターフェース部である。

なお、撮像システムは少なくとも撮像装置１００４と、撮像装置１００４から出力された画素信号を処理する信号処理部１００７とを有すればよい。その場合、他の構成は撮像システムの外部に配される。

以上に説明した通り、撮像システムの実施例において、撮像装置１００４には、第１の実施例、乃至、第５の実施例のいずれかの撮像装置が用いられる。このような構成によれば、撮像装置から得られる画像のダイナミックレンジを拡大させることができる。

［実施例７］
移動体の実施例について説明する。本実施例の移動体は、車載カメラを備えた自動車である。図２８（ａ）は、自動車２１００の外観と主な内部構造を模式的に示している。自動車２１００は、撮像装置２１０２、撮像システム用集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）２１０３、警報装置２１１２、主制御部２１１３を備える。

撮像装置２１０２には、上述の各実施例で説明した撮像装置が用いられる。警報装置２１１２は、撮像システム、車両センサ、制御ユニットなどから異常を示す信号を受けたときに、運転手へ向けて警告を行う。主制御部２１１３は、撮像システム、車両センサ、制御ユニットなどの動作を統括的に制御する。なお、自動車２１００が主制御部２１１３を備えていなくてもよい。この場合、撮像システム、車両センサ、制御ユニットが個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う（例えばＣＡＮ規格）。

図２８（ｂ）は、自動車２１００のシステム構成を示すブロック図である。自動車２１００は、第１の撮像装置２１０２と第２の撮像装置２１０２を含む。つまり、本実施例の車載カメラはステレオカメラである。撮像装置２１０２には、光学部２１１４により被写体像が結像される。撮像装置２１０２から出力された画素信号は、画像前処理部２１１５によって処理され、そして、撮像システム用集積回路２１０３に伝達される。画像前処理部２１１５は、Ｓ－Ｎ演算や、同期信号付加などの処理を行う。

撮像システム用集積回路２１０３は、画像処理部２１０４、メモリ２１０５、光学測距部２１０６、視差演算部２１０７、物体認知部２１０８、異常検出部２１０９、および、外部インターフェース（Ｉ／Ｆ）部２１１６を備える。画像処理部２１０４は、画素信号を処理して画像信号を生成する。また、画像処理部２１０４は、画像信号の補正や異常画素の補完を行う。メモリ２１０５は、画像信号を一時的に保持する。また、メモリ２１０５は、既知の撮像装置２１０２の異常画素の位置を記憶していてもよい。光学測距部２１０６は、画像信号を用いて被写体の合焦または測距を行う。視差演算部２１０７は、視差画像の被写体照合（ステレオマッチング）を行う。物体認知部２１０８は、画像信号を解析して、自動車、人物、標識、道路などの被写体の認知を行う。異常検出部２１０９は、撮像装置２１０２の故障、あるいは、誤動作を検知する。異常検出部２１０９は、故障や誤動作を検知した場合には、主制御部２１１３へ異常を検知したことを示す信号を送る。外部Ｉ／Ｆ部２１１６は、撮像システム用集積回路２１０３の各部と、主制御部２１１３あるいは種々の制御ユニット等との間での情報の授受を仲介する。

自動車２１００は、車両情報取得部２１１０および運転支援部２１１１を含む。車両情報取得部２１１０は、速度・加速度センサ、角速度センサ、舵角センサ、測距レーダ、圧力センサなどの車両センサを含む。

運転支援部２１１１は、衝突判定部を含む。衝突判定部は、光学測距部２１０６、視差演算部２１０７、物体認知部２１０８からの情報に基づいて、物体との衝突可能性があるか否かを判定する。光学測距部２１０６や視差演算部２１０７は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。

運転支援部２１１１が他の物体と衝突しないように自動車２１００を制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。

自動車２１００は、さらに、エアバッグ、アクセル、ブレーキ、ステアリング、トランスミッション等の走行に用いられる駆動部を具備する。また、自動車２１００は、それらの制御ユニットを含む。制御ユニットは、主制御部２１１３の制御信号に基づいて、対応する駆動部を制御する。

本実施例に用いられた撮像システムは、自動車に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

以上に説明した通り、自動車の実施例において、撮像装置２１０２には、第１の実施例、乃至、第５の実施例のいずれかの撮像装置が用いられる。このような構成によれば、撮像装置から得られる画像のダイナミックレンジを拡大させることができる。

１００ 画素
１０４ 列信号処理部
１０５ 増幅回路
１０６ 制御回路
ＰＤ フォトダイオード
ＭＳＦ 増幅トランジスタ

Claims (27)

1. 光電変換部で生じた電荷に基づくアナログ信号が複数の画素から入力される処理回路であって、
   前記処理回路は、前記アナログ信号の信号値と閾値との比較の結果に応じて、当該比較の対象とされた前記アナログ信号に適用されるゲインを、複数のゲインの中から選択して制御する制御部と、前記画素から出力された前記アナログ信号に対して前記制御部によって選択されたゲインを適用して前記アナログ信号をデジタル信号に変換するアナログデジタル変換部を含む信号処理部を備え、
   前記複数の画素のそれぞれから、前記アナログ信号として、第１の露光期間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間より短い第２の露光期間に前記光電変換部で生じた電荷に基づく第２の信号とが出力され、
   前記第１の信号および前記第２の信号の少なくとも一方の信号に対して適用するゲインを、前記複数のゲインに含まれる第１のゲインおよび前記第１のゲインよりも高い第２のゲインの一方を、前記制御部は前記比較の結果に応じて選択する制御を行う、
   ことを特徴とする処理回路。
2. 前記制御部は、前記アナログ信号の信号値と前記閾値とを比較する比較器と、
   前記比較器から出力される信号、および、出力を固定するための制御信号を受ける論理ゲートと、を含む、
   ことを特徴とする請求項１に記載の処理回路。
3. 光電変換部で生じた電荷に基づくアナログ信号が複数の画素から入力される処理回路であって、
   前記処理回路は、前記アナログ信号の信号値と閾値との比較の結果に応じて、当該比較の対象とされた前記アナログ信号に適用されるゲインを、複数のゲインの中から選択して制御する制御部と、を備え、
   前記複数の画素のそれぞれから、前記アナログ信号として、第１の露光期間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間より短い第２の露光期間に前記光電変換部で生じた電荷に基づく第２の信号とが出力され、
   前記第１の信号および前記第２の信号の少なくとも一方の信号に対して適用するゲインを、前記複数のゲインに含まれる第１のゲインおよび前記第１のゲインよりも高い第２のゲインの一方を前記制御部は前記比較の結果に応じて選択する制御を行い、
   前記制御部は、前記アナログ信号の信号値と前記閾値とを比較する比較器と、
   前記比較器から出力される信号、および、出力を固定するための制御信号を受ける論理ゲートと、を含む、
   ことを特徴とする処理回路。
4. 前記アナログ信号をデジタル信号に変換するアナログデジタル変換部を含み、
   前記アナログ信号に適用されるゲインは、前記アナログ信号から前記デジタル信号への変換ゲインである、
   ことを特徴とする請求項３に記載の処理回路。
5. 前記アナログ信号に適用されるゲインを表す信号を保持する第１のメモリ、および、前記デジタル信号を保持する第２のメモリを少なくとも含むメモリ部を備え、
   前記第１の信号から変換された前記デジタル信号を読み出すときは、前記第１のメモリと、前記第２のメモリとの両方から信号を読み出し、
   前記第２の信号から変換された前記デジタル信号を読み出すときは、前記第１のメモリから信号を読み出さない、
   ことを特徴とする請求項１、２、４のいずれか１項に記載の処理回路。
6. 前記アナログ信号に適用されるゲインを表す信号を保持する第１のメモリ、および、前記デジタル信号を保持する第２のメモリを少なくとも含むメモリ部を備え、
   前記第１の信号をデジタル信号に変換するときは、前記第１のメモリに前記アナログ信号に適用されるゲインを表す信号を書き込み、
   前記第２の信号をデジタル信号に変換するときは、前記第１のメモリへの書き込みを行わない、
   ことを特徴とする請求項１、２、４のいずれか１項に記載の処理回路。
7. 前記アナログ信号をデジタル信号に変換するアナログデジタル変換部と、
   前記アナログ信号を増幅して、前記アナログデジタル変換部に含まれる比較回路へ増幅された信号を供給する増幅回路を含み、
   前記第１のゲインおよび前記第２のゲインは、前記増幅回路のゲインである、
   ことを特徴とする請求項３に記載の処理回路。
8. 前記アナログデジタル変換部の比較回路に参照信号を供給する参照信号発生回路を備え、
   前記比較回路に供給される前記参照信号の信号値の単位時間当たりの変化率を変化させることによって前記第１のゲインおよび前記第２のゲインが設定される、
   ことを特徴とする請求項１、２、４～６のいずれか一項に記載の処理回路。
9. 前記参照信号発生回路が、前記閾値を示す信号を出力する、
   ことを特徴とする請求項８に記載の処理回路。
10. 前記複数の画素のそれぞれは、前記電荷を受ける入力ノードを有する増幅部と、前記入力ノードの電圧をリセットするリセット部とを含み、
    前記複数の画素のそれぞれから、前記第１の信号を出力する前に、前記アナログ信号として、前記入力ノードの電圧がリセットされた状態に基づく第１のリセットレベル信号が出力され、
    前記複数の画素のそれぞれから、前記第２の信号を出力する前に、前記アナログ信号として、前記入力ノードの電圧がリセットされた状態に基づく第２のリセットレベル信号が出力される、
    ことを特徴とする請求項１～９のいずれか１項に記載の処理回路。
11. 前記第１の信号に対して行われる前記比較の結果に応じて、前記制御部は、前記第１の信号に適用されるゲインを、前記第１のゲインおよび前記第２のゲインの一方に制御し、
    前記第２の信号に対しては前記比較を行わずに、前記制御部は、前記第２のリセットレベル信号に適用されるゲインと前記第２の信号に適用されるゲインとの両方を、前記第１のゲインおよび前記第２のゲインの一方に制御する、
    ことを特徴とする請求項１０に記載の処理回路。
12. 前記第１の信号に対して行われる前記比較の結果に応じて、前記制御部は、前記第１の信号に適用されるゲインを、前記第１のゲインおよび前記第２のゲインのいずれかに制御し、
    前記第２の信号に対して行われる前記比較の結果にかかわらず、前記制御部は、前記第２のリセットレベル信号に適用されるゲインと前記第２の信号に適用されるゲインとの両方を、前記第１のゲインおよび前記第２のゲインの一方に制御する、
    ことを特徴とする請求項１０に記載の処理回路。
13. 前記制御部は、前記第１の信号に適用されるゲインを、前記第１の信号の信号値に応じて、前記第１のゲインおよび前記第２のゲインのいずれかに制御し、
    前記第２の信号が前記画素から出力される前に、前記制御部は、前記第２の信号に適用されるゲインを前記第１のゲインおよび前記第２のゲインの一方に制御する、
    ことを特徴とする請求項１０に記載の処理回路。
14. 前記制御部は、前記第１の信号に適用されるゲインを、前記第１の信号の信号値に応じて、前記第１のゲインおよび前記第２のゲインのいずれかに制御し、
    前記制御部は、前記第２の信号に適用するゲインを、前記第２のリセットレベル信号に適用するゲインと同じになるように制御する、
    ことを特徴とする請求項１０に記載の処理回路。
15. 前記制御部は、前記第２の信号に適用されるゲイン、および、前記第２のリセットレベル信号に適用されるゲインの両方を、前記第１のゲインに制御する、
    ことを特徴とする請求項１０～１４のいずれか一項に記載の処理回路。
16. 前記制御部は、前記第１のリセットレベル信号に適用されるゲインを、前記第２のゲインに制御する、
    ことを特徴とする請求項１０～１５のいずれか一項に記載の処理回路。
17. 前記第１の信号の構成する第１の画像と前記第２の信号の構成する第２の画像とが１つの画像に合成される、
    ことを特徴とする請求項１～１６のいずれか一項に記載の処理回路。
18. 前記１つの画像が合成される際に、前記第２の画像には、前記第１の画像よりも高いゲインがかけられる、
    ことを特徴とする請求項１７に記載の処理回路。
19. 光電変換部で生じた電荷に基づくアナログ信号が複数の画素から出力される処理回路であって、
    前記処理回路は、前記アナログ信号の信号値と閾値との比較に応じて、前記アナログ信号に適用されるゲインを、複数のゲインの中から第１のゲインと第２のゲインの一方を選択して制御する制御部と、を備え、
    前記複数の画素のそれぞれから、前記アナログ信号として、第１の露光期間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間より短い第２の露光期間に前記光電変換部で生じた電荷に基づく第２の信号とが出力され、
    前記第１の信号に対して行われる前記比較に用いられる閾値と、前記第２の信号に対して行われる前記比較に用いられる閾値が異なる信号値である、
    ことを特徴とする処理回路。
20. 前記制御部によって複数のゲインの中から選択されたゲインを適用して前記画素から出力された前記アナログ信号に対して処理を行う信号処理部を備え、
    前記制御部は、前記アナログ信号に適用するゲインを前記複数のゲインに含まれる第１のゲインと、前記第１のゲインよりも高い第２のゲインの一方を選択する、
    ことを特徴とする請求項１９に記載の処理回路。
21. 前記複数の画素のそれぞれは、前記電荷を受ける入力ノードを有する増幅部と、前記入力ノードの電圧をリセットするリセット部とを含み、
    前記複数の画素のそれぞれから、前記第１の信号を出力する前に、前記アナログ信号として、前記入力ノードの電圧がリセットされた状態に基づく第１のリセットレベル信号が出力され、
    前記複数の画素のそれぞれから、前記第２の信号を出力する前に、前記アナログ信号として、前記入力ノードの電圧がリセットされた状態に基づく第２のリセットレベル信号が出力され、
    前記制御部は、前記第２のリセットレベル信号に適用されるゲインを、前記第１のゲインに制御する、
    ことを特徴とする請求項１９または請求項２０に記載の処理回路。
22. 光電変換部で生じた電荷に基づくアナログ信号が複数の画素から入力される処理回路であって、
    前記処理回路は、前記アナログ信号の信号値と閾値との比較の結果に応じて、当該比較の対象とされた前記アナログ信号に適用されるゲインを、少なくとも第１のゲイン、および、前記第１のゲインよりも高い第２のゲインに制御する制御部と、を備え、
    前記複数の画素のそれぞれから、前記アナログ信号として、第１の露光期間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間より短い第２の露光期間に前記光電変換部で生じた電荷に基づく第２の信号とが出力され、
    前記第１の信号および前記第２の信号の少なくとも一方の信号に対して、前記制御部は前記比較の結果に応じて前記第１のゲインおよび前記第２のゲインから一方を選択する制御を行い、
    前記複数の画素は、第１の行および第２の行を含む複数の行を構成するように配列され、
    １つの画像を構成するための複数の前記第１の信号を行ごとに読み出し、
    別の１つ画像を構成するための複数の前記第２の信号を行ごとに読み出し、
    前記第１の行から前記１つの画像を構成する前記第１の信号が出力される動作と、前記第２の行から前記１つの画像を構成する前記第１の信号が出力される動作との間に、前記第１の行および前記第２の行とは別の行の前記第２の信号が前記処理回路に出力される、
    ことを特徴とする処理回路。
23. 請求項１～２２のいずれか一項に記載の処理回路と、
    前記複数の画素とを備えることを特徴とする撮像装置。
24. 請求項２３に記載の撮像装置と、
    前記第１の信号の構成する第１の画像、および、前記第２の信号の構成する第２の画像を合成して１つの画像を合成する画像合成装置と、を備える、
    ことを特徴とする撮像システム。
25. 前記画像合成装置は、前記第２の画像に対して、前記第１の画像より高いゲインをかける、
    ことを特徴とする請求項２４に記載の撮像システム。
26. 移動体であって、
    請求項２３に記載の撮像装置と、
    前記第１の信号の構成する第１の画像、および、前記第２の信号の構成する第２の画像を合成して１つの画像を合成する画像合成装置と、
    合成された前記１つの画像を処理した結果に基づいて前記移動体を制御する制御装置と、を備える、
    ことを特徴とする移動体。
27. 前記画像合成装置は、前記第２の画像に対して、前記第１の画像より高いゲインをかける、
    ことを特徴とする請求項２６に記載の移動体。

Images