JP6739404B2 - 撮像素子 - Google Patents

Description

本発明は撮像素子に関し、例えば格子状に配置された画素回路から読み出される撮像信号に対して行毎に生成される補正値を用いて補正を行う撮像素子に関する。

撮像素子では、画素回路内に設けられる光電変換素子の露光量に応じた電圧レベルを有する撮像信号を生成し、この撮像信号に対してアナログデジタル変換処理等の処理を施すことで画素データを生成する。このとき、撮像信号は、行毎に独立したアナログデジタル変換処理経路を通して画素データに変換される。

しかしながら、アナログデジタル変換処理経路を校正する回路には、入力オフセットばらつき、ゲインばらつき等の回路特性のばらつきがある。そして、この回路特性のばらつきは、特定の行の画素の色にずれが生じる固定パターンノイズとなる。この固定パターンノイズを除去する方法の一例が特許文献１に開示されている。

特許文献１に記載の固体撮像装置では、画素アレイ部の上部側の光学的黒画素領域の第１の画素行をゲイン１倍の第１の補正用画素行として、第２の画素行をゲイン８倍の第２の補正用画素行としてそれぞれ用い、これら第１及び第２の補正用画素行の各画素から取得した画素信号を、カラム処理部を通すことによってＰ相とＤ相との間のゲイン誤差を補正するためのゲイン１倍の第１の補正値とゲイン８倍の第２の補正値として得る一方、これら補正値を用いてマルチプレクサにおいてゲイン誤差の補正処理を行うようにする。

特開２００８−２５２６０５号公報

第１の補正値及び第２の補正値による補正の精度を高めるためには、多くの補正値生成用データを用いて第１の補正値及び第２の補正値を生成する必要がある。しかしながら、特許文献１に記載の固体撮像装置では、補正値生成用データを光学的黒画素領域に配置される画素からしか取得することができず、精度の高い補正値を生成するために多くの時間を要するという問題がある。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、撮像素子は、キャリブレーション動作において、有効画素領域に格子状に配置される複数の前記画素回路を、行単位で撮像画素回路群と校正画素回路群とに分類し、撮像画素回路群に属する画素回路に撮像信号を出力させ、校正画素回路群に属する画素回路に対する読み出し動作を行うタイミングでは、校正画素回路群に属する画素回路を垂直読み出し線から電気的に切り離すと共に垂直読み出し線に校正電圧を供給し、垂直読み出し線を介して入力される撮像信号の電圧レベルに応じた撮像データ及び校正電圧の電圧レベルに応じた校正データを生成し、撮像データに対して補正値を適用して画素データを生成すると共に校正データを蓄積し、所定の個数の校正データに基づき生成した更新用補正値により補正値を更新する。

前記一実施の形態によれば、短時間で精度の高い補正値を生成することができる。

アナログＣＤＳ方式とデジタルＣＤＳ方式の処理の違いを説明する表である。 アナログＣＤＳ方式とデジタルＣＤＳ方式の読み出し動作の違いを説明する図である。 実施の形態１にかかる撮像素子のブロック図である。 実施の形態１にかかる撮像素子の画素配置領域及びカラム処理回路のブロック図である。 実施の形態１にかかる撮像素子の画素処理回路のブロック図である。 実施の形態１にかかる撮像素子の補正値生成部及び画素データ生成部のブロック図である。 実施の形態１にかかる撮像素子の補完画素データの生成に用いる画素データを説明する図である。 実施の形態１にかかる撮像素子の行間補完処理部の通常動作時の動作を説明するタイミングチャートである。 実施の形態１にかかる撮像素子の行間補完処理部のキャリブレーション動作時の動作を説明するタイミングチャートである。 実施の形態１にかかる撮像素子の行間補完処理部のブロック図である。 実施の形態１にかかる撮像素子の有効画素領域と光学的黒画素領域とを説明する図である。 実施の形態１にかかる撮像素子の動作を説明するタイミングチャートである。 実施の形態１にかかる撮像素子のキャリブレーション動作時の読み出し処理を説明するタイミングチャートである。 実施の形態１にかかる撮像素子の動作を説明するフローチャートである。 実施の形態１にかかる撮像素子のキャリブレーション動作を説明するフローチャートである。 実施の形態１にかかる撮像素子の補正値生成処理の動作を説明するフローチャートである。 実施の形態２にかかる撮像素子の動作を説明するタイミングチャートである。 実施の形態２にかかる撮像素子の通常動作時の読み出し処理を説明するタイミングチャートである。 実施の形態２にかかる撮像素子のキャリブレーション動作時の読み出し処理を説明するタイミングチャートである。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

実施の形態１
まず、撮像素子では、画素回路から光電変換素子（例えば、フォトダイオード）の露光量に応じた電圧レベルを有する撮像信号を読み出す。この撮像信号の読み出し処理では、フローティングディフュージョン、増幅トランジスタ、プログラマブルゲインアンプ、アナログデジタル変換回路等の様々な素子及び回路を通して撮像信号の電圧レベルに応じたデジタル値を有する撮像データを得る。そのため、撮像データには、画素信号の伝達経路で生じる誤差が多く含まれる。そのため、撮像素子では、撮像データに重畳されるノイズを除去するノイズキャンセル値を用いて撮像データに重畳されるノイズを除去することで最終的な出力データとなる画素データを得る。

このノイズキャンセル値には、補正値とダークレベル値とがある。補正値は、格子状に配置される複数の画素回路のうち同一列に並べられる複数の画素回路に共通に適用される値である。ダークレベル値は、格子状に配置される複数の画素回路のそれぞれについて個別に適用される値である。以下の説明では、補正値を用いたノイズ除去処理を行う読み出し処理の方式をアナログＣＤＳ（Correlated Double Sampling：相間２重サンプリング）方式と称し、ダークレベル値を用いたノイズ除去処理を行う読み出し処理を行う方式をデジタルＣＤＳ方式と称す。アナログＣＤＳ方式とデジタルＣＤＳ方式は、ノイズキャンセル値が生成される過程が異なる。また、いずれのノイズキャンセル値を利用するかにより画素回路から撮像信号を読み出す読み出し処理の動作が異なる。そこで、アナログＣＤＳ方式とデジタルＣＤＳ方式の違いについて詳細に説明する。

図１にアナログＣＤＳ方式とデジタルＣＤＳ方式の処理の違いを説明する表を示す。図１に示すように、アナログＣＤＳ方式とデジタルＣＤＳ方式との違いは、補正値を生成するキャリブレーション動作の有無と、ダークレベル信号（画素回路内のフローティングディフュージョンのリセットレベルに応じた電圧レベルを有する信号）に対するアナログデジタル変換処理の有無と、ノイズ除去処理で用いる値の違いがある。

具体的には、アナログＣＤＳ方式では、ノイズ除去処理で利用する補正値をキャリブレーション動作により生成する。また、アナログＣＤＳ方式では、ダークレベル値をノイズ除去処理で利用しないためダークレベル信号に対するアナログデジタル変換処理は行わない。また、アナログＣＤＳ方式では、キャリブレーション動作によって生成した補正値を用いてデジタル値に変換した撮像信号の値から補正値を減算することで撮像信号に重畳したノイズを除去する。一方、デジタルＣＤＳ方式では、撮像信号の読み出し処理の度にダークレベル信号に対するアナログデジタル変換処理を行う。そして、デジタルＣＤＳ方式では、デジタル値に変換した撮像信号の値から直前に生成したダークレベル値を減算することで撮像信号に重畳したノイズを除去する。

また、図２にアナログＣＤＳ方式とデジタルＣＤＳ方式の読み出し動作の違いを説明する図を示す。図２では、上段に画像信号の読み出しの流れを示すブロック図を示し、中段にアナログＣＤＳ方式における画素信号読み出し処理のタイミングチャートを示し、下段にデジタルＣＤＳ方式における画素信号読み出し処理のタイミングチャートを示した。

図２に示すように、画素回路は、光電変換素子（例えば、フォトダイオードＰＤ）、転送トランジスタＴｒ＿ｔｘ、リセットトランジスタＴｒ＿ｒｓｔ、増幅トランジスタＴｒ＿ａｍｉ、選択トランジスタＴｒ＿ｓｅｌを有する。

フォトダイオードＰＤのカソードには接地電圧が供給される。フォトダイオードＰＤのアノードは転送トランジスタＴｒ＿ｔｘのソースに接続される。転送トランジスタＴｒ＿ｔｘのゲートには転送制御信号ＴＸが与えられる。転送トランジスタＴｒ＿ｔｘのドレインは増幅トランジスタＴｒ＿ａｍｉのゲートに接続される。また、転送トランジスタＴｒ＿ｔｘのドレイン及び増幅トランジスタＴｒ＿ａｍｉのゲートには、リセットトランジスタＴｒ＿ｒｓｔのソースが接続される。また、転送トランジスタＴｒ＿ｔｘのドレイン及びリセットトランジスタＴｒ＿ｒｓｔのソースとなる領域はフローティングディフュージョンＦＤとなる。リセットトランジスタＴｒ＿ｒｓｔのゲートにはリセット制御信号ＲＳＴが与えられる。リセットトランジスタＴｒ＿ｒｓｔのドレイン及び増幅トランジスタＴｒ＿ａｍｉのドレインには画素電源電圧ＶＤＤ＿ＰＸが与えられる。増幅トランジスタＴｒ＿ａｍｉのソースは、選択トランジスタＴｒ＿ｓｅｌのドレインに接続される。選択トランジスタＴｒ＿ｓｅｌのゲートには選択信号ＳＥＬが与えられる。選択トランジスタＴｒ＿ｓｅｌのソースは垂直読み出し線ＶＲＬに接続される。

また、垂直読み出し線ＶＲＬの一端にはアナログデジタル変換回路（図２中のＡＤＣ）が設けられる。また、アナログデジタル変換回路は、ノイズ除去処理部に出力信号を与える。アナログデジタル変換回路は、垂直読み出し線ＶＲＬを介して入力される信号の電圧レベルに応じたデジタル値を出力する。また、アナログデジタル変換回路にはオートゼロ制御信号ＡＺが与えられ、変換処理を行う前に回路の状態をリセットする。ノイズ除去処理部は、補正値或いはダークレベル値を用いて撮像データに重畳したノイズを除去して画素データＤｏを出力する。

続いて、図２の上段のブロック図で示した回路を用いた画素信号Ｓｉｇの読み出し動作を説明する。まず、図２の中段に示したアナログＣＤＳ方式における画素信号Ｓｉｇの読み出し処理のタイミングチャートを参照してアナログＣＤＳ方式における画素信号Ｓｉｇの読み出し動作を説明する。

図２の中段に示したように、アナログＣＤＳ方式では、タイミングＴ１１においてリセット信号ＲＳＴをロウレベルからハイレベルに切り替えることで、フローティングディフュージョンＦＤをリセット電圧にリセットする。また、タイミングＴ１１では選択信号ＳＥＬをロウレベルからハイレベルに切り替える。タイミングＴ１２では、オートゼロ制御信号ＡＺに基づきアナログデジタル変換回路をリセットする。続いて、タイミングＴ１３で転送制御信号ＴＸをロウレベルからハイレベルに切り替える。これにより、転送トランジスタＴｒ＿ｔｘが導通状態となり、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに読み出される。そして、画素回路は、フローティングディフュージョンＦＤの電圧レベルに基づき画素信号Ｓｉｇを出力する。そして、撮像素子では、この撮像信号Ｓｉｇに対してアナログデジタル変換処理を施す。

続いて、図２の下段に示したデジタルＣＤＳ方式における画素信号Ｓｉｇの読み出し処理のタイミングチャートを参照してデジタルＣＤＳ方式における画素信号Ｓｉｇの読み出し動作を説明する。

図２の下段に示したように、デジタルＣＤＳ方式では、タイミングＴ２１においてリセット信号ＲＳＴをロウレベルからハイレベルに切り替えることで、フローティングディフュージョンＦＤをリセット電圧にリセットする。また、タイミングＴ２１では選択信号ＳＥＬをロウレベルからハイレベルに切り替える。タイミングＴ２２では、オートゼロ制御信号ＡＺに基づきアナログデジタル変換回路をリセットする。続いて、オートゼロ処理が完了したタイミングＴ２３からダークレベル信号Ｄａｒｋに対するアナログデジタル変換処理が開始される。このダークレベル信号は、フローティングディフュージョンＦＤに与えられるリセット電圧に基づき画素回路が出力するものである。続いて、タイミングＴ２４で転送制御信号ＴＸをロウレベルからハイレベルに切り替える。これにより、転送トランジスタＴｒ＿ｔｘが導通状態となり、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに読み出される。そして、画素回路は、フローティングディフュージョンＦＤの電圧レベルに基づき画素信号Ｓｉｇを出力する。そして、撮像素子では、この撮像信号Ｓｉｇに対してアナログデジタル変換処理を施す。

実施の形態１にかかる撮像素子１では、アナログＣＤＳ方式のノイズ除去処理を行う。上述したように、アナログＣＤＳ方式では、画素回路毎にノイズキャンセル値となるダークレベル信号Ｄａｒｋのアナログデジタル変換処理を行う必要がないため、１つの画素回路から撮像信号を読み出すのに必要な時間をデジタルＣＤＳ方式よりも短くすることができる。近年、１枚の画像を構成するために必要な画素数が増加している傾向がある。また、動画であれば高いフレームレートが求められる傾向がある。そのため、１つの画素回路からの撮像信号の読み出し時間の短縮は大きな課題となっている事情があり、アナログＣＤＳ方式によるノイズ除去処理のメリットが大きくなってきている。

一方、アナログＣＤＳ方式では、補正値が同一列に配置される画素回路に対して共通して用いられるため、補正値と画素信号の読み出し経路で生じるノイズ成分との誤差が大きくなると画像中に筋状のノイズが固定的に生じる固定パターンノイズが発生する。そのため、画素信号の読み出し経路で生じるノイズ成分との誤差に対する補正値の精度を高める必要がある。補正値の精度を向上させる１つの方法として、より多くの校正データから補正値を生成する方法がある。この校正データは、例えば、垂直読み出し線ＶＲＬをダークレベルにした状態でアナログデジタル変換回路が出力する画素データである。

実施の形態１にかかる撮像素子１では、補正値の精度を充分に高めるために必要な校正データをより短時間で取得するための構成及びキャリブレーション動作を採用する。そこで、以下では、実施の形態１にかかる撮像素子１の構成及びキャリブレーション動作について詳細に説明する。

なお、以下の説明では、図示が省略される場合であっても、撮像信号の符号をＳｉｇ、校正電圧の符号をＶＣＡＬ、撮像データの符号をＤｓｉｇ、校正データの符号をＤｓｉｇ、画素データの符号をＤｐｃ、補完画素データの符号をＤｐｘ＿ＬＩＣ、補正値の符号をＣＶとして表す。

図３に実施の形態１にかかる撮像素子１のブロック図を示す。図２に示すブロック図は、実施の形態１にかかる撮像素子１の動作の説明に必要な部分を中心に示したもので有り、その他の回路ブロックが含まれていても良い。

図３に示すように、実施の形態１にかかる撮像素子１は、メインタイミング制御回路１０、ピクセルタイミング生成回路１１、ロウスキャン回路１２、画素配置領域１３、ＡＤＣタイミング生成回路１４、変換処理シーケンス回路１５ｓ、１５ｎ、アナログデジタル変換回路群１６ｓ、１６ｎ、水平転送回路１７ｓ、１７ｎ、カラム選択回路１８ｓ、１８ｎ、画素処理回路１９ｓ、１９ｎ、画像合成回路２０、入出力インタフェース回路２１を有する。また、変換処理シーケンス回路１５ｓ、アナログデジタル変換回路群１６ｓ及び水平転送回路１７ｓは、サウスカラム処理回路ＳＣを構成し、変換処理シーケンス回路１５ｎ、アナログデジタル変換回路群１６ｎ及び水平転送回路１７ｎは、ノースカラム処理回路ＮＣを構成する。

実施の形態１にかかる撮像素子１では、画素配置領域１３に格子状に複数の画素回路を配置する。そして、実施の形態１にかかる撮像素子１は、奇数列と偶数列の一方に配置される画素回路から出力される撮像信号Ｓｉｇと、奇数列と偶数列の他方に配置される画素回路から出力される撮像信号Ｓｉｇと、をそれぞれ画素配置領域１３の上下に配置される処理回路群で処理する。図３では、画素配置領域１３の下側に配置される回路群に付した符号の末尾にｓの文字を付し、画素配置領域１３の下側に配置される回路群に付した符号の末尾にｎの文字を付した。つまり、ｓ又はｎが付された回路ブロックは同じ構成の回路であり、同じ動作を行う。そこで、以下の説明では、ｓ又はｎの文字は付さずに各回路ブロックの説明を行う。

メインタイミング制御回路１０は、実施の形態１にかかる撮像素子１の全体の動作シーケンスを制御するシーケンス制御信号をピクセルタイミング生成回路１１及びＡＤＣタイミング生成回路１４に出力する。ピクセルタイミング生成回路１１は、シーケンス制御信号に基づき画素配置領域１３に配置される画素回路の動作シーケンスを制御するピクセルタイミング信号を生成する。ロウスキャン回路１２は、ピクセルタイミング信号に基づき画素配置領域１３内の回路又は素子に与える具体的な制御信号を生成する。
画素配置領域１３は格子状に複数の画素回路が配置される。画素配置領域１３には、複数の画素回路の列毎に垂直読み出し線が設けられる。複数の画素回路は、それぞれ対応する垂直読み出し線に接続される。また、画素配置領域１３には、垂直読み出し線毎に画素クランプ回路と画素電流源が接続される。

ＡＤＣタイミング生成回路１４は、シーケンス制御信号に基づきアナログデジタル変換回路を含む変換処理に用いられる回路群の動作シーケンスを制御するカラム制御信号を出力する。なお、カラム制御信号には複数の信号が含まれており、その１つに時間と共にランプ波形を構成するように電圧値が遷移するランプ電圧Ｖｒａｍｐがある。

変換処理シーケンス回路１５は、グローバルカウンタＧＣと、バッファ回路ＢＵＦとが含まれる。グローバルカウンタＧＣは、ランプ電圧Ｖｒａｍｐの電圧遷移に合わせてカウント値が進むグローバルカウント値を生成する。そして、水平転送回路１７内のシフトレジスタの動作を制御する。バッファ回路ＢＵＦは、ＡＤＣタイミング生成回路１４から与えられるランプ電圧Ｖｒａｍｐを増幅してアナログデジタル変換回路群１６内のアナログデジタル変換回路に与える。

アナログデジタル変換回路群１６は、列毎に独立して垂直読み出し線から信号が入力され、それぞれが入力された信号を処理する複数のマルチプレクサＭＵＸ及び複数のアナログデジタル変換回路ＡＤＣを有する。水平転送回路１７は、アナログデジタル変換回路ＡＤＣが列毎に出力するデータを列毎に読み取って後段のカラム選択回路１８に転送する。そして、カラム選択回路１８は、水平転送回路１７を介して列順にアナログデジタル変換回路ＡＤＣが出力したデータを読み出して後段の画素処理回路１９に与える。

画素処理回路１９は、アナログデジタル変換回路群１６によりデジタル値に変換されたデータに対してノイズ除去処理等を施して画素データを生成し、当該画素データを画像合成回路２０に出力する。この画素処理回路１９内の処理及び回路ブロックの詳細な説明は後述する。画像合成回路２０は、画素処理回路１９ｓ及び画素処理回路１９ｎから入力された画素データを合成してフレーム毎に１枚の画像データＤｏを生成する。入出力インタフェース回路２１は、画像合成回路２０で生成された画像データＤｏを外部の他の回路又は装置に出力する。

ここで、実施の形態１にかかる撮像素子１は、通常動作とキャリブレーション動作とを切り替えて行う。通常動作では、実施の形態１にかかる撮像素子１は、格子状に配置される複数の画素回路から画素回路内の光電変換素子（例えば、フォトダイオード）の露光量に応じた電圧レベルを有する撮像信号Ｓｉｇを読み出す。キャリブレーション動作では、実施の形態１にかかる撮像素子１は、同一行に配置される複数の画素回路から出力される撮像信号Ｓｉｇに共通して適用される補正値を生成する。特に、キャリブレーション動作では、画素回路からの撮像信号Ｓｉｇの読み出しと、補正値の演算に用いる校正電圧ＶＣＡＬとの読み出しとを所定の感覚で繰り返し行うことで、１フレーム分の画素信号を読み出す期間内での校正電圧ＶＣＡＬの読み出し回数を多くする。このような動作を実現するために、実施の形態１にかかる撮像素子１では、画素回路から画素処理回路１９に至る経路の回路構成及び動作に特徴の１つを有する。そこで、以下では、画素配置領域１３、アナログデジタル変換回路群１６、水平転送回路１７、画素処理回路１９について詳細に説明する。

図４に実施の形態１にかかる撮像素子の画素配置領域及びカラム処理回路のブロック図を示す。図４に示すように、カラム処理回路には、アナログデジタル変換回路群１６（図４中のＭＵＸ及びＡＤＣ）及び水平転送回路１７（図４中のＣＲＤ）が含まれる。

図４に示すように、画素配置領域１３には、格子状に複数の画素回路が配置される。この画素回路は、それぞれ赤（Ｒ）、青（Ｂ）、緑（Ｇｂ、Ｇｒ）のフィルターがベイヤー配置されたカラーフィルタの１色が対応する。図４に示す例では、画素回路に対応するカラーフィルタの色に対応する文字を付している。画素配置領域１３には、複数の垂直読み出し線ＶＲＬが設けられる。垂直読み出し線ＶＲＬには、それぞれ、同一の列に配置される複数の画素回路が接続される。

また、画素配置領域１３は、画素電流源ＰＣＳ及び画素クランプ回路ＰＣＬが設けられる。画素電流源ＰＣＳは、垂直読み出し線ＶＲＬの両端部に近い部分であってのカラム処理回路に近い部分にそれぞれ設けられる。画素電流源ＰＣＳは、垂直読み出し線ＶＲＬを介して画素回路内の増幅トランジスタに負荷電流を供給する。画素クランプ回路ＰＣＬは、垂直読み出し線ＶＲＬに校正電圧ＶＣＡＬを与える。画素クランプ回路ＰＣＬは、垂直読み出し線ＶＲＬの両端部に近い部分であってのカラム処理回路に近い部分にそれぞれ設けられる。

画素電流源ＰＣＳには、校正電圧ＶＣＡＬとキャリブレーション通知信号ＣＳＣＡＬが入力される。実施の形態１にかかる撮像素子１では、ピクセルタイミング生成回路１１及びロウスキャン回路１２によりタイミングジェネレータを構成する。そして、校正電圧ＶＣＡＬとキャリブレーション通知信号ＣＳＣＡＬは、ロウスキャン回路１２内の回路により生成される。画素電流源ＰＣＳは、キャリブレーション通知信号ＣＳＣＡＬがイネーブル状態（例えば、ハイレベル）になっている期間に垂直読み出し線ＶＲＬに校正電圧ＶＣＡＬを与える。校正電圧ＶＣＡＬは、例えば、ダークレベル信号の信号レベルとして想定される電圧を有する。

サウスカラム処理回路ＳＣとノースカラム処理回路ＮＣは同じ回路構成であるため、図４では、サウスカラム処理回路ＳＣのみ詳細なブロック図を示した。図４に示すように、サウスカラム処理回路ＳＣには、マルチプレクサＭＵＸ、アナログデジタル変換回路ＡＤＣ、水平転送回路ＣＲＤを有する。

マルチプレクサＭＵＸには、２行分の垂直読み出し線ＶＲＬ毎に１つの選択回路が設けられる。サウスカラム処理回路ＳＣ内のマルチプレクサＭＵＸが奇数列と偶数列の一方を選択している場合、ノースカラム処理回路ＮＣ内のマルチプレクサＭＵＸは奇数列と偶数列の他方を選択する。

アナログデジタル変換回路は、１つの選択回路に対して１つ設けられる。図４に示す例では、アナログデジタル変換回路は、ランプ信号Ｖｒａｍｐを増幅するアンプＡＴＴと、垂直読み出し線ＶＲＬから選択回路を介して入力される信号を増幅するアンプＡＴＴと、２つのアンプＡＴＴから出力される信号の大小関係に応じて出力信号をハイレベルとロウレベルとのいずれか一方に切り替えるコンパレータＣＭＰと、を有する。アナログデジタル変換回路ＡＤＣの回路ゲインを変更する場合は、２つのアンプＡＴＴのゲインを変更する。

ここで、実施の形態１にかかる撮像素子１では、画素回路から撮像信号Ｓｉｇを読み出す場合は、垂直読み出し線ＶＲＬを介してアナログデジタル変換回路ＡＤＣに撮像信号Ｓｉｇが入力される。一方、実施の形態１にかかる撮像素子１においてキャリブレーション動作を行う場合、垂直読み出し線ＶＲＬを介してアナログデジタル変換回路ＡＤＣに撮像信号Ｓｉｇに校正電圧ＶＣＡＬが入力される、つまり、実施の形態１にかかる撮像素子１のアナログデジタル変換回路ＡＤＣは、それぞれが対応する垂直読み出し線ＶＲＬを介して入力される前記撮像信号Ｓｉｇの電圧レベルに応じたデジタル値を有する撮像データＤｓｉｇ及び校正電圧ＶＣＡＬの電圧レベルに応じたデジタル値を有する校正データＤＣＡＬを生成する。

水平転送回路ＣＲＤには、アナログデジタル変換回路ＡＤＣ毎に複数のラッチ回路ＬＡＴにより構成されるシフトレジスタを有する。また、水平転送回路内の複数のシフトレジスタの出力は、転送配線に接続される。シフトレジスタ内の値をこの転送配線を介して後段の画素処理回路１９に転送される。カラム選択回路１８は、転送配線を介して画素処理回路１９に転送するデータを選択する。また、シフトレジスタは、グローバルカウント値ＣＮＴのカウント値に応じてアナログデジタル変換回路ＡＤＣから出力される値を順次後段のラッチ回路にシフトさせる。

続いて、画素処理回路１９について詳細に説明する。そこで、図５に実施の形態１にかかる撮像素子の画素処理回路１９のブロック図を示す。図５に示すように、画素処理回路１９は、補正値生成部３１、画素データ生成部３２、行間補完処理部３３が設けられる。

補正値生成部３１は、校正データＤＣＡＬを蓄積し、所定の個数の校正データＤＣＡＬに基づき生成した更新用補正値により補正値ＣＶを更新する。画素データ生成部３２は、撮像データＤｓｉｇに対して補正値ＣＶを適用して画素データＤｐｘを生成する。行間補完処理部３３は、補完処理により補完画素データＤｓｉｇ＿ＬＩＣを生成し、校正データＤＣＡＬを取得する行から取得できない撮像データＤｐｘを補完画素データＤｐｘ＿ＬＩＣにより補完する。以下では、補正値生成部３１、画素データ生成部３２、行間補完処理部３３についてより詳細に説明する。

図６に実施の形態１にかかる撮像素子の補正値生成部３１及び画素データ生成部３２のブロック図を示す。図６に示すように、補正値生成部３１は、上限リミッタ４０、積算処理部４１、平滑処理部４２を有する。上限リミッタ４０は、校正データＤＣＡＬのビット数を所定のビット数に制限することで、後段回路での処理を軽減する。積算処理部４１は、上限リミッタ４０で処理された校正データを積算して積算値を生成する。平滑処理部４２は、積算値を積算数で除算することで、積算された校正データを平滑化する。この平滑処理部４２で平滑化処理がなされた校正データＤＣＡＬが更新用補正値となる。平滑処理部４２は校正用補正値により画素データ生成部３２内の補正値保持部４３に保持されている補正値ＣＶを更新する。このような平滑化処理を行うことで、校正データＤＣＡＬを取得する際に校正データＤＣＡＬに重畳されるノイズ成分を低減することができる。

画素データ生成部３２は、補正値保持部４３及び補正処理部４４を有する。補正処理部４４は、撮像データＤｓｉｇから補正値保持部４３に保持されている補正値ＣＶを引くことで画素データＤｐｘを生成する。

続いて、行間補完処理部３３について詳細に説明する。行間補完処理部３３は、通常動作時においては、入力される画素データＤｐｘをそのまま出力する。一方、行間補完処理部３３は、キャリブレーション動作時には校正データＤＣＡＬを取得するために撮像データＤｓｉｇの読み出し処理を行わなかった画素回路の撮像データＤｓｉｇに対応する補完画素データＤｐｘ＿ＬＩＣを生成して、生成した補完画素データＤｐｘ＿ＬＩＣを出力することで読み出せなかった撮像データＤｓｉｇを補完する。

そこで、まず、行間補完処理部３３における補完画素データＤｐｘ＿ＬＩＣの生成方法について説明する。図７に実施の形態１にかかる撮像素子の補完画素データの生成に用いる画素データを説明する図を示す。なお、図７では、ｍを行番号、ｎを列番号として示した。また、図７に示した補完画素データの生成方法は一例であり、補完画素データの生成に用いる画素データの数は採用する補完画素データの生成方法により適宜異なる数となる。

図７では、キャリブレーション動作時の撮像信号Ｓｉｇ読み出し対象の行の画素回路と、校正電圧ＶＣＡＬの読み出し時に読み出し対象となっている行の画素回路を示した。図７に示すように、キャリブレーション動作時には、実施の形態１にかかる撮像素子１は、カラーフィルタの組み合わせが同じになる行を１つの組として、連続する２つ組のうち一方の組を撮像信号Ｓｉｇの読み出し対象の行とした場合、他方の組を校正電圧ＶＣＡＬの読み出し対象の行とする。

より具体的には、実施の形態１にかかる撮像素子１では、タイミングチャート（例えば、ピクセルタイミング生成回路１１、ロウスキャン回路１２）が、キャリブレーション動作において、複数の画素回路を行単位で撮像画素回路群（図７のＳｉｇ読み出し行）と校正画素回路群（図７のＶＣＡＬ読み出し行）とに分類する。そして、タイミングジェネレータは、撮像画素回路群に属する画素回路にはキャリブレーション動作中であっても撮像信号を出力させる。一方、タイミングジェネレータは、校正画素回路群に属する画素回路に対する読み出し動作を行うタイミングでは、校正画素回路群に属する画素回路を垂直読み出し線から電気的に切り離すと共に垂直読み出し線に画素クリップ回路ＰＣＬから校正電圧ＶＣＡＬを供給する。このとき、実施の形態１にかかる撮像素子１が、２行毎に同じカラーパターンを繰り返すカラーフィルタを備えている。そのため、実施の形態１にかかる撮像素子１は、連続する２行を１組として撮像画素回路群及び校正画素回路群のいずれかに分類し、撮像画素回路群と校正画素回路群が交互に配置されるように定義する。

上記定義により、実施の形態１にかかる撮像素子１では、撮像画素回路群と校正画素回路群には、それぞれ同一列で連続した行に配置される少なくとも２つの画素回路が含まれる。また、撮像画素回路群と校正画素回路群は、交互に配置される。さらに、撮像画素回路群に属する画素回路に対応するカラーフィルタのカラーパターンと、校正画素回路群に属する画素回路に対応するカラーフィルタのカラーパターンとは、同一のパターンとなる。

そして、行間補完処理部３３では、撮像画素回路群に属する画素回路のうち補完画素データに対応する画素回路と同じ色のフィルタに対応する画素回路であって、かつ、補完画素データに対応する画素回路からの距離が近い順に６つの画素回路に対応する画素データを用いて補完画素データを生成する。図７に示す例では、ｍ行ｎ列目の赤のフィルタに対応する画素回路の補完画素データＤｐｘ＿ＬＩＣを生成するために、ｍ＋２行ｎ−２列目、ｍ＋２行ｎ列目、ｍ＋２行ｎ＋２列目、ｍ−２行ｎ−２列目、ｍ−２行ｎ列目、ｍ−２行ｎ＋２列目の６つの画素データＤｐｘを用いる。

また、詳しくは後述するが、行間補完処理部３３は、補完画素データＤｐｘ＿ＬＩＣの生成に用いる画素データに対して、校正画素回路群に属する画素回路からの距離が遠くなるほど小さくなる重み係数を適用する。図７に示す例では、ｍ＋２行ｎ列目及びｍ−２行ｎ列目の画素回路は、補完画素データＤｐｘ＿ＬＩＣに対応する画素回路との距離が他の画素回路よりも近い。そのため、ｍ＋２行ｎ列目及びｍ−１行ｎ列目の画素回路には重み２を適用する。一方、ｍ＋２行ｎ−２列目、ｍ＋２行ｎ＋２列目、ｍ−２行ｎ−２列目、ｍ−２行ｎ＋２列目の画素回路は、ｍ＋２行ｎ列目及びｍ−１行ｎ列目の画素回路よりも補完画素データＤｐｘ＿ＬＩＣに対応する画素回路からの距離が遠い。そのため、ｍ＋２行ｎ−２列目、ｍ＋２行ｎ＋２列目、ｍ−２行ｎ−２列目、ｍ−２行ｎ＋２列目の画素回路から出力される画素データＤｐｘには重み１を適用する。

続いて、行間補完処理部３３のデータの入出力タイミングについて説明する。図８に、実施の形態１にかかる撮像素子の行間補完処理部の通常動作時の動作を説明するタイミングチャートを示す。図８に示すように、行間補完処理部３３は、通常動作時は、データが入力されてから２画素のデータの入力が完了した後に、入力された順にデータを出力する。

一方、図９に実施の形態１にかかる撮像素子の行間補完処理部のキャリブレーション動作時の動作を説明するタイミングチャートを示す。図９に示すように、行間補完処理部３３は、キャリブレーション動作中においても、データが入力されてから２画素のデータの入力が完了した後に、入力された順にデータを出力する。しかしながら、キャリブレーション動作中には、校正データＤＣＡＬを取得する行においては画素データＤｐｘが入力されない。そこで、行間補完処理部３３では、画素データＤｐｘが入力されない期間には、補完画素データＤｐｘ＿ＬＩＣ（図９中のＬＩＣ）を生成して、画素データＤｐｘが欠落するタイミングにこの補完画素データＤｐｘ＿ＬＩＣを出力する。

続いて、行間補完処理部３３の回路構成について説明する。そこで、図１０に実施の形態１にかかる撮像素子の行間補完処理部のブロック図を示す。図１０に示すように、行間補完処理部３３は、補完データ生成部５１、セレクタ５２を有する。補完データ生成部５１は、校正画素回路群（例えば、図７のＶＣＡＬ読み出し行）に属する画素回路に対応する画素データを、校正画素回路群に属する画素回路の周辺に配置される撮像画素回路群（例えば、図７のＳｉｇ読み出し行）に属する画素回路に対応する画素データを合成して生成し、生成したデータを補完画素データＤｐｘ＿ＬＩＣとして出力する。セレクタ５２は、撮像画素回路群に属する画素回路に対応するデータ出力タイミングに合わせて画素データＤｐｘを出力し、校正画素回路群に属する画素回路に対応するデータ出力タイミングに合わせて補完画素データＤｐｘ＿ＬＩＣを出力する。

補完データ生成部５１は、重み付け処理部６０、加算処理部６１、加算処理部６２、前行画素データ保持部６３、重み付け処理部６４、加算処理部６５、加算処理部６６、加算処理部６７、ビットシフト処理部６８を有する。この補完データ生成部５１は、ｍ行ｎ列目の補完画素データＤｐｘ＿ＬＩＣを生成する。

重み付け処理部６０は、ｍ＋２行ｎ列目の画素データＤｐｘに対して重み２を乗算する。加算処理部６１は、ｍ＋２行ｎ−２列目の画素データＤｐｘとｍ＋２行ｎ＋２列の画素データＤｐｘとを加算する。前行画素データ保持部６３は、補完画素データＤｐｘ＿ＬＩＣを生成する画素回路が含まれる校正画素回路群の前に読み出し対象となっている撮像画素回路群から出力された画素データＤｐｘを保持する。重み付け処理部６４は、ｍ−２行ｎ列目の画素データＤｐｘに対して重み２を乗算する。加算処理部６５は、ｍ−２行ｎ−２列目の画素データＤｐｘとｍ−２行ｎ＋２列の画素データＤｐｘとを加算する。

加算処理部６６は、重み付け処理部６０で生成された第１の中間画素データと加算処理部６１で生成された第２の中間画素データとを加算して第３の中間画素データを生成する。加算処理部６７は、重み付け処理部６４で生成された第４の中間画素データと加算処理部６５で生成された第５の中間画素データとを加算して第６の中間画素データを生成する。加算処理部６７は、第３の中間画素データと第６の中間画素データとを加算して第７の中間画素データを生成する。

第７の中間画素データは複数の画素データを加算して生成された値を有しているため、画素データＤｐｘに比べてビット数が大きくっている。そこで、ビットシフト処理部６８が、ビットシフト処理により、第７の中間画素データのビット数を画素データＤｐｘに合わせることで、補完画素データＤｐｘ＿ＬＩＣを生成する。

続いて、実施の形態１にかかる撮像素子１の動作について説明する。そこで、まず、画素配置領域１３に配置される画素回路について説明する。図１１に実施の形態１にかかる撮像素子の有効画素領域と光学的黒画素領域とを説明する図を示す。画素配置領域１３には、レンズを通して入射する光が当たる有効画素領域に配置される画素回路と、遮光される光学的黒画素領域（ＯＢ画素）に配置される画素回路とがある。光学的黒画素領域は有効画素領域の外周の２辺に沿って設けられる。そして、実施の形態１にかかる撮像素子１では、通常動作時においては、光学的黒画素領域に配置される画素回路を用いて校正データＤＣＡＬを得ると共に有効画素領域に配置される画素回路から撮像データＤｓｉｇを得る。一方、実施の形態１にかかる撮像素子１は、キャリブレーション動作時においては、光学的黒画素領域に配置される画素回路と有効画素領域に配置される画素回路を用いて校正データＤＣＡＬを得ると共に有効画素領域に配置される画素回路から撮像データＤｓｉｇを得る。

続いて、図１２に実施の形態１にかかる撮像素子の動作を説明するタイミングチャートを示す。図１２に示すように、実施の形態１にかかる撮像素子１では、画素回路に対してリセット（図１２中のＲＥＳＥＴ）、露光（図１２中のＥＸＰ）、読み出し（図１２中のＲＥＡＤ）の３つの指示を与えることで各画素回路から撮像信号Ｓｉｇを得る。また、実施の形態１にかかる撮像素子１では、画素配置領域１３に格子状に複数の画素回路が配置されるが、これらの画素回路に対しては、行順に順次前述の３つの動作を開始させる。これにより、読み出しに動作に要する３つの処理を時系列に並べると、全画素の読み出し動作は台形形状の図形で表される。

また、図１２では、ｉ番目のフレームに関する読み出し処理を行っている期間に制御命令としてアナログデジタル変換回路ＡＤＣの回路ゲインをゲインＡからゲインＢに変更する命令が与えられる。そして、図１２で示した動作を行う実施の形態１にかかる撮像素子１は、ゲイン変更命令が与えられた次のｉ＋１番目のフレームに関する読み出し処理中にアナログデジタル変換回路の回路ゲインをゲインＢとした際に適用する補正値を得るキャリブレーション動作を実施する。図１２中では、ゲインＡに対応する補正値をＣＶ＿Ａとし、ゲインＢに対応する補正値をＣＶ＿Ｂとした。

なお、図１２に示したキャリブレーション動作の実施タイミングは一例であり、キャリブレーション動作は、例えば、実施の形態１にかかる撮像素子１の起動時に実施する、所定期間毎に周期的に実施する等、様々なタイミングで実施できる。

また、図１２に示す例では、ｉ＋１番目のフレームに関する読み出し期間中に、アナログデジタル変換回路の回路ゲインを切り替えながら読み出し動作を実施する。具体的には、キャリブレーション動作中は、撮像信号Ｓｉｇを読み出す際にはアナログデジタル変換回路のゲインをゲインＡとし、校正電圧ＶＣＡＬを読み出す際にはアナログデジタル変換回路のゲインをゲインＢとする。また、キャリブレーション動作中は、実施の形態１にかかる撮像素子１が出力する出力画素データに対しては補正値ＣＶ＿Ａを適用する。そして、キャリブレーション動作中は、校正データＤＣＡＬに基づき補正値ＣＶ＿Ｂの生成を行う。

そして、ｉ＋１番目のフレームに関する読み出し処理中に補正値ＣＶ＿Ｂの生成が完了する。その後、補正値ＣＶ＿Ａは、ｉ＋１番目のフレームに関する読み出し処理からｉ＋２番目のフレームに関する読み出し処理に処理を切り替える際に補正値ＣＶ＿Ｂにより更新される。そして、ｉ＋２番目のフレームに関する読み出し処理は、アナログデジタル変換回路の回路ゲインをゲインＢに切り替えると共に、補正値ＣＶ＿Ｂを適用して出力画素データを生成する。

ここで、キャリブレーション動作中の読み出し処理についてより詳細に説明する。そこで、図１３に実施の形態１にかかる撮像素子のキャリブレーション動作時の読み出し処理を説明するタイミングチャートを示す。

図１３に示すように、キャリブレーション動作では、撮像信号Ｓｉｇの読み出し対象とならない光学的黒画素領域に配置された画素回路からは、校正電圧ＶＣＡＬを読み出すキャリブレーション読み出し処理ＣＡＬを行う。一方、撮像信号Ｓｉｇの読み出し対象となる有効画素領域に配置された画素回路に対しては、交互に配置された撮像画素回路群と校正画素回路群とに対して行順に順次読み出し処理を行うことで、画素信号Ｓｉｇ読み出し処理ＲＥＡＤとキャリブレーション読み出し処理ＣＡＬとが所定の間隔（例えば、２行毎）で繰り返し行われる。また、キャリブレーション動作では、画素信号Ｓｉｇ読み出し処理ＲＥＡＤからキャリブレーション読み出し処理ＣＡＬに切り替わる際にアナログデジタル変換回路の回路ゲインがゲインＡからゲインＢに変更される。また、キャリブレーション読み出し処理ＣＡＬから画素信号Ｓｉｇ読み出し処理ＲＥＡＤに切り替わる際にアナログデジタル変換回路の回路ゲインがゲインＢからゲインＡに変更される。

続いて、実施の形態１にかかる撮像素子１の動作をフローチャートを用いて説明する。図１４に実施の形態１にかかる撮像素子の動作を説明するタイミングチャートを示す。図１４に示すように、実施の形態１にかかる撮像素子１では、補正値の更新が指示されているか否かを先ず判断する。この補正値の更新指示は、例えば、アナログデジタル変換回路の回路ゲイン変更、アナログデジタル変換回路の回路ゲイン変更とは独立したタイミングで与えられる補正値更新指示等がある。

そして、補正値更新指示がない場合は、光学的黒画素領域に配置される画素回路からの信号読み出しを行わないブランク処理を行い、有効画素領域に配置される画素回路に対しては、撮像データＤｓｉｇを読み出す画素値変換処理と撮像データＤｓｉｇに補正値ＣＶを適用して画素データＤｐｘを生成する画素データ生成処理と、を行毎に順次行う。

一方、補正値更新指示があった場合は、キャリブレーション動作により新たな補正値を生成する補正値生成処理を行う。そこで、図１５に実施の形態１にかかる撮像素子のキャリブレーション動作を説明するフローチャートを示す。図１５に示すように、光学的黒画素領域に配置される画素回路についての信号読み出し処理として校正データＤＣＡＬを読み出す補正値変換用変換処理を行う。また、有効画素領域に配置される画素回路に対しては、撮像データＤｓｉｇを読み出す画素値変換処理と、校正データＤＣＡＬを読み出す補正値変換用変換処理と、を所定の周期で繰り返し行う。また、画素変換処理にタオouして撮像データＤｓｉｇに現在の補正値ＣＶを適用して、画素データＤｐｘを生成する画素データ生成処理と、校正データＤＣＡＬの取得により欠落する画素データＤｐｘを補完する補完データ生成処理と、を行毎に順次行う。また、補正値更新用変換処理に対応して更新用補正値生成処理を行う。この補正値更新用変換処理のフローチャートを図１６に示す。

図１６に示すように、補正値更新用変換処理では、校正データＤＣＡＬのデータ入力と入力された校正データＤＣＡＬの積算処理とを、校正データＤＣＡＬの積算数が規定値以上になるまで繰り返す。そして、校正データＤＣＡＬの積算数が規定数よりも多くなったことに応じて校正データＤＣＡＬに対する平滑化処理（例えば、除算処理）を行う。この平滑化処理により、更新用補正値が生成され、更新用補正値により現在の補正値が更新される。

上記説明より、実施の形態１にかかる撮像素子１では、１フレームの撮像データＤｓｉｇを得る読み出し処理中に校正データＤＣＡＬの読み出し処理と撮像データＤｓｉｇの読み出し処理とを交互に行うことで、光学的黒画素領域に配置された画素回路に対する読み出し期間のみで校正データＤＣＡＬを得る場合に比べて、短い時間でより多くの校正データＤＣＡＬを取得する。

アナログＣＤＳ方式において、補正値の精度を高めるためには多くの校正データＤＣＡＬが必要になる。この補正値は、実施の形態１にかかる撮像素子１の起動時、或いは、アナログデジタル変換回路のゲイン変更時に、撮像信号Ｓｉｇの読み出し経路のオフセット等のノイズ量が変化するため、更新する必要がある。ここで、実施の形態１にかかる撮像素子１では、校正データＤＣＡＬを短時間に多く集めることで、精度の高い補正値を早期に生成することができる。実施の形態１にかかる撮像素子１は、短時間で高い精度の補正値を取得できるため、ゲイン切り替えや、起動時の初期化処理を短時間で行うことができる。

例えば、実施の形態１にかかる撮像素子１を用いることで、１０２４行で１フレームの画像が構成される２ｋ画像であれば、１フレーム期間中に５１２個以上の校正データＤＣＡＬを取得することができる。また、実施の形態１にかかる撮像素子１を用いることで、２０４８行で１フレームの画像が構成される４ｋ画像であれば、１フレーム期間中に１０２４個以上の校正データＤＣＡＬを取得することができる。このように、実施の形態１にかかる撮像素子１を用いることで、十分な精度を得られる校正データＤＣＡＬを１フレーム期間中に取得できるため、実施の形態１にかかる実施の形態１にかかる撮像素子１では、ゲイン変更をゲイン変更命令から２フレーム後に反映できることもある。参考例として、１０２４個の校正データＤＣＡＬを光学的黒画素領域に配置された画素回路のみから得ようとした場合、ゲイン変更までに３２フレームを要する。このようなことからも、実施の形態１にかかる撮像素子１がいかに高速に補正値を更新可能かが分かる。

また、実施の形態１にかかる撮像素子１では、校正データＤＣＡＬを取得する際に欠落する画素データＤｐｘを行間補完処理により補完する。これにより、実施の形態１にかかる撮像素子１では、キャリブレーション動作中においてもフレームを途切れさせることなく連続して生成することができる。

実施の形態２
実施の形態２では、露出期間の異なる２回の露光処理で得られる２つの画素データを校正してダイナミックレンジの広い画像データを得るＨＤＲ（High Dynamic Range）処理を行う撮像素子に、実施の形態１で説明したキャリブレーション動作を適用する例について説明する。

まず、ＨＤＲ処理を行う場合の画素信号Ｓｉｇの読み出し動作について説明する。そこで、図１７に実施の形態２にかかる撮像素子の動作を説明するタイミングを示す。図１７に示すタイミングチャートは、１フレーム分の撮像データを得るために行われる処理である。図１７に示すように、ＨＤＲ処理を行う撮像素子では、異なる長さの露光期間により１フレーム２つの画素データＤｐｘを取得する。図１７に示す例では、長秒露光（図１７のＥＸＰａ）に基づき生成された画素信号Ｓｉｇを最初に得て、長秒露光に基づく画素信号Ｓｉｇを得た画素から順次短秒露光を行い、短秒露光により得られた画素信号Ｓｉｇを露光完了後に順次読み出す。

このような２回露光を行う場合、長秒露光又は短秒露光で得られた画素信号Ｓｉｇを行順に順次読み出す順次読み出し期間と、長秒露光で得られた画素信号Ｓｉｇと短秒露光で得られた画素信号Ｓｉｇを交互に読み出す交互読み出し期間とが生じる。

順次読み出し期間の動作は、通常動作とキャリブレーション動作のいずれも実施の形態１で説明した読み出しシーケンスと同じ処理で撮像信号Ｓｉｇの読み出しが行われる。一方、交互読み出し期間においては、実施の形態１にかかる読み出し処理とは異なる処理シーケンスとなる。そこで、以下では、実施の形態２にかかる読み出し処理の処理シーケンスについて説明する。

図１８に実施の形態２にかかる撮像素子の通常動作時の読み出し処理を説明するタイミングチャートを示す。図１８に示すように、交互読み出し期間における通常動作においては、長秒露光により生成された画素信号Ｓｉｇを出力する画素回路と、短秒露光により生成された画素信号Ｓｉｇを出力する画素回路と、に対する読み出し処理（図１８のＲＥＡＤ）が交互に行われる。また、通常動作では、アナログデジタル変換回路のゲイン切り替えは行わない。

図１９に実施の形態２にかかる撮像素子のキャリブレーション動作時の読み出し処理を説明するタイミングチャートを示す。図１９に示すように、交互読み出し期間におけるキャリブレーション動作においては、長秒露光により生成された画素信号Ｓｉｇを出力する画素回路と、短秒露光により生成された画素信号Ｓｉｇを出力する画素回路と、に対する読み出し処理（図１９のＲＥＡＤ、及び、ＣＡＬ）が交互に行われる。また、長秒露光画素と短秒露光画素とを個別に見た場合、画素信号Ｓｉｇの読み出し処理（図１９のＲＥＡＤ）と校正データＤＣＡＬを読み出すキャリブレーション用読み出し（図１９のＣＡＬ）とが所定の間隔で繰り返される。また、図１９に示すように、交互読み出し期間では、短秒露光画素に対する撮像信号Ｓｉｇ読み出し処理ＲＥＡＤと長秒露光画素に対する撮像信号Ｓｉｇ読み出し処理ＲＥＡＤとの両方が終わってから、短秒露光画素に対するキャリブレーション読み出し処理ＣＡＬと長秒露光画素に対するキャリブレーション読み出し処理ＣＡＬとが実施される。

このような読み出しシーケンスを実行することで、行間補完処理部３３で行われる補完処理を適用した補完画素データＤｐｘ＿ＬＩＣの生成を行うことができる。

上記説明より、実施の形態１で説明したキャリブレーション動作は、複数回の露光によりＨＤＲ処理を行う撮像素子においても適用可能である。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

１ 実施の形態１にかかる撮像素子
１０ メインタイミング制御回路
１１ ピクセルタイミング生成回路
１２ ロウスキャン回路
１３ 画素配置領域
１４ ＡＤＣタイミング生成回路
１５ 変換処理シーケンス回路
１６ アナログデジタル変換回路群
１７ 水平転送回路
１８ カラム選択回路
１９ 画素処理回路
２０ 画像合成回路
２１ 入出力インタフェース回路
３１ 補正値生成部
３２ 画素データ生成部
３３ 行間補完処理部
４０ 上限リミッタ
４１ 積算処理部
４２ 平滑処理部
４３ 補正値保持部
４４ 補正処理部
５１ 補完データ生成部
５２ セレクタ
６０ 重み付け処理部
６１ 加算処理部
６２ 加算処理部
６３ 前行画素データ保持部
６４ 重み付け処理部
６５ 加算処理部
６６ 加算処理部
６７ 加算処理部
６８ ビットシフト処理部
ＶＲＬ 垂直読み出し線
ＳＣ サウスカラム処理回路
ＮＣ ノースカラム処理回路
ＡＴＴ アンプ
ＣＭＰ コンパレータ
ＬＡＴ ラッチ回路
ＰＣＬ 画素クランプ回路
ＰＣＳ 画素電流源
ＣＳＣＡＬ キャリブレーション通知信号
ＶＣＡＬ 校正電圧
ＲＳＴ リセット信号
ＴＸ 転送制御信号
ＳＥＬ 選択信号
Ｖｒａｍｐ ランプ信号
ＣＮＴ グローバルカウント値
ＣＶ 補正値
Ｓｉｇ 撮像信号
Ｄａｒｋ ダークレベル信号
Ｄｓｉｇ 撮像データ
Ｄｐｘ 画素データ
Ｄｐｘ＿ＬＩＣ 補完画素データ
ＤＣＡＬ 校正データ

Claims (7)

1. 格子状に配置される複数の画素回路から前記画素回路内の光電変換素子の露光量に応じた電圧レベルを有する撮像信号を読み出す通常動作と、同一行に配置される複数の前記画素回路から出力される撮像信号に共通して適用される補正値を生成するキャリブレーション動作と、を行う撮像素子であって、
   それぞれが同一の列に配置される複数の前記画素回路が接続される複数の垂直読み出し線と、
   前記複数の垂直読み出し線のそれぞれに対応して設けられ、対応する前記垂直読み出し線に校正電圧を与える画素クリップ回路と、
   前記画素クリップ回路と複数の前記画素回路を制御して、行番号順に複数の前記画素回路に前記撮像信号を出力させるタイミングジェネレータと、
   それぞれが対応する前記垂直読み出し線を介して入力される前記撮像信号の電圧レベルに応じたデジタル値を有する撮像データ及び前記校正電圧の電圧レベルに応じたデジタル値を有する校正データを生成する複数のアナログデジタル変換回路と、
   前記撮像データに対して前記補正値を適用して画素データを生成する画素データ生成部と、
   前記校正データを蓄積し、所定の個数の前記校正データに基づき生成した更新用補正値により前記補正値を更新する補正値生成部と、を有し、
   前記複数の画素回路は、レンズを介して入射される光に晒される有効画素領域に配置され、
   前記タイミングジェネレータは、前記キャリブレーション動作において、
   複数の前記画素回路を行単位で撮像画素回路群と校正画素回路群とに分類し、前記撮像画素回路群に属する前記画素回路に前記撮像信号を出力させ、
   前記校正画素回路群に属する前記画素回路に対する読み出し動作を行うタイミングでは、前記校正画素回路群に属する前記画素回路を前記垂直読み出し線から電気的に切り離すと共に前記垂直読み出し線に前記画素クリップ回路から前記校正電圧を供給する撮像素子。
2. 前記撮像画素回路群と前記校正画素回路群には、それぞれ同一列で連続した行に配置される少なくとも２つの前記画素回路が含まれ、
   前記撮像画素回路群と前記校正画素回路群は、交互に配置される請求項１に記載の撮像素子。
3. 前記撮像画素回路群に属する前記画素回路に対応するカラーフィルタのカラーパターンと、 前記校正画素回路群に属する前記画素回路に対応するカラーフィルタのカラーパターンとは、同一のパターンである請求項２に記載の撮像素子。
4. 前記校正画素回路群に属する前記画素回路に対応する前記画素データを、前記校正画素回路群に属する前記画素回路の周辺に配置される前記撮像画素回路群に属する前記画素回路に対応する前記画素データを合成して生成し、生成したデータを補完画素データとして出力する補完画素データ生成部と、
   前記撮像画素回路群に属する前記画素回路に対応するデータ出力タイミングに合わせて前記画素データを出力し、前記校正画素回路群に属する前記画素回路に対応するデータ出力タイミングに合わせて前記補完画素データを出力するセレクタと、
   を有する請求項１に記載の撮像素子。
5. 前記補完画素データ生成部は、前記撮像画素回路群に属する前記画素回路のうち前記補完画素データに対応する前記画素回路と同じ色のフィルタに対応する複数の前記画素回路から出力される複数の前記画素データを用いて前記補完画素データを生成する請求項４に記載の撮像素子。
6. 前記補完画素データ生成部は、前記補完画素データの生成に用いる前記画素データに対して、前記校正画素回路群に属する前記画素回路からの距離が遠くなるほど小さくなる重み係数を適用する請求項５に記載の撮像素子。
7. 前記キャリブレーション動作は、前記アナログデジタル変換回路の回路ゲインを第１のゲインから第２のゲインに変更する指示に基づき開始され、
   前記アナログデジタル変換回路は、前記撮像データを出力する際には前記第１のゲインで動作し、前記校正データを出力する際には前記第２のゲインで動作するように制御され、
   前記更新用補正値により前記補正値が上書きされた後に前記アナログデジタル変換回路は前記第２のゲインで前記撮像データに対するアナログデジタル変換処理を実施する請求項１に記載の撮像素子。