JP6779038B2 - 撮像素子及びその制御方法、撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像素子及びその制御方法、及び、撮像装置及びその制御方法に関し、特に画素領域を複数の領域に分割して読み出し可能な撮像素子及びその制御方法、及び、撮像装置及びその制御方法に関する。

近年、撮像素子の分野では、高画素数かつ高フレームレートへの要請から、読み出し速度を一層向上するべく種々の技術が提案されている。特許文献１には、光電変換素子と、増幅トランジスタと、選択トランジスタとを有する、二次元状に配設された複数の画素回路と、複数の垂直信号線等を具備する撮像素子が開示されている。複数の垂直信号線の各々は、複数の画素回路を列方向に分割して独立に駆動可能で、かつ、ＡＤ変換回路が接続され、分割した画素回路同士が隣接する行から離間する向き等に、画素回路を行単位で順次駆動する。このように分割された垂直信号線であれば、非分割の垂直信号線に比べて寄生抵抗および寄生容量が半減するので、画素回路からの信号電圧を垂直信号線に伝える際の静定時間が短くなるため、アナログ信号段階での高速読み出しに寄与する。また、各種公知技術があるため詳細を割愛するが、ＡＤ変換段階やデジタル信号段階においても、それぞれ高速読み出しに寄与する技術が提案されている。

一方、このように分割された垂直信号線は互いに異なるＡＤ変換回路に接続されているため、ちょうど分割した境界の画素信号に特性差が生じてしまう。特に、撮影画像の中央付近に生じること、そして、列間で切れ目なく生じることから目に付きやすく、わずかであっても鑑賞者の検知限を超えてしまう。

また、撮像素子の信号を列毎に高精度に補正する技術は従来から提案されてきた。特許文献２によれば、次のような画像データ補正装置が開示されている。まず、撮像素子の遮光画素領域の画素データを列毎に積分して、一次元シェーディング補正データを算出しておく。そして、撮像素子の開口画素領域から画素データを読み出しているときに、算出された一次元ダークシェーディング補正データを用いて撮像素子の一次元ダークシェーディングを補正する。

特開２０１３−２４３７８１号公報 特開２００７−３３６３４３号公報

しかしながら、垂直信号線を分割した撮像素子において、特許文献２に記載されたように高精度の補正を行うために、遮光画素領域を分割した境界の画素近傍に配置することは明らかに困難である。一方、例えばＡＤ変換回路に近い側にそれぞれ遮光画素領域を配置した場合には、次のような問題が発生する。すなわち、一次元シェーディング補正データの算出に使われる画素が、分割した境界の画素からかなり離れているために、補正データに撮像素子面内の温度分布やオフセットレベルの違いなどによる誤差が重畳されやすくなってしまう。

本発明は上記問題点を鑑みてなされたものであり、画素部を垂直方向に分割して読み出す撮像素子を用いる際に、分割境界におけるダークシェーディングの差を高精度に補正することを目的とする。

上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数の画素からなる画素部と、前記画素部を列方向に分割した複数の領域から並行に読み出された信号に、並行に予め決められた処理を行って出力する複数の出力手段と、前記複数の領域から補正データを取得するための信号を前記複数の出力手段に読み出す第１の駆動と、前記複数の領域から画像信号を前記複数の出力手段に読み出す第２の駆動とを行うように制御する制御手段と、前記第１の駆動により読み出された信号から前記補正データを取得し、当該補正データにより、前記画像信号を補正する補正手段と、を有し、前記制御手段は、前記複数の領域それぞれについて、分割境界の行を含む一部の行の画素に対して、複数回、前記第１の駆動を行って信号を読み出し、前記補正手段は、前記複数回の読み出しで得られた信号のうち、各列について、複数の信号の外れ値を除外し、平均することで、前記分割した領域ごとに前記補正データを取得することを特徴とする。

本発明の撮像装置によれば、画素部を垂直方向に分割して読み出す撮像素子を用いる際に、分割境界におけるダークシェーディングの差を高精度に補正することができる。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図。 第１の実施形態に係る撮像素子の構成を示すブロック図。 第１の実施形態に係る撮像素子の駆動方法を示すタイミングチャート。 第１の実施形態に係る撮像装置における補正処理を示すフローチャート。 第２の実施形態に係る撮像装置の概略構成を示すブロック図。 第２の実施形態に係る撮像装置における補正処理を示すフローチャート。 第３の実施形態に係る撮像素子の構成を示すブロック図。 第４の実施形態に係る撮像素子の構成を示すブロック図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置１の概略構成を示すブロック図である。図１において、システム制御部１４は、撮像装置１全体を制御するプログラムを実行する全体制御部である。制御プログラムの全部または一部はＲＯＭ１５に格納されており、制御モード毎に必要なプログラムを読み出して実行するように構成してもよい。ＲＯＭ１５には、更に、後述するように特定のキズアドレスを記録しておき、補正処理に用いる一次元ダークシェーディングデータの算出に利用する。

撮影光学系１０は、不図示の操作部によって、ユーザから絞り、ズーム、フォーカス等の指定を受け付けたシステム制御部１４より光学系駆動回路１８を介して、目的の制御と、不図示のメカニカルシャッター等の遮光部の開閉が行われる。

撮像素子１１は、制御の完了した撮影光学系１０により結像した光を受光して、光電変換を行い、光電変換により得られた電圧信号をＡＤ変換してデジタル画像信号を生成する。撮像素子１１は、システム制御部１４により後述するタイミング発生回路（ＴＧ）２２の駆動パターンを選択して設定することにより、一連の駆動を行う。なお、第１の実施形態においては、撮像素子１１の各垂直信号線は後述するように列方向に２分割されており、分割された各垂直信号線につきそれぞれ行順次に並行にＡＤ変換が行われるので、２行分のデジタル画像信号が画像処理部１３に転送される。

撮像素子１１から出力されたデジタル画像信号は、フレーム毎にまとめて画像メモリ１２に一時記憶されたり、または行ごとに一次元ダークシェーディングデータの算出のためにラインメモリ１７に累積記憶される。詳細は後述するが、一次元ダークシェーディングデータの算出に必要な行数分の転送が完了すると、ラインメモリ１７に累積記憶されたデータに対してキズ除去、平均化等の処理を行い、画像メモリ１２に記憶されるべき画像データから減算補正を行う。そして、減算補正された１フレーム分のデジタル画像信号が画像メモリ１２に一時記憶された後、画像処理部１３によって所定の画像処理が行われる。

画像処理部１３にて行われる画像処理としては、上述した減算補正の他、分割部合成、ホワイトバランス補正、３面同時化、ノイズリダクション、シャープネス調節等を挙げることができる。

画像処理部１３により画像処理が施された処理済み画像は、記録回路１６においてＪＰＥＧ（Joint Photographic Experts Group）等の画像規格への圧縮が行われた後、記録媒体１９に記録される。

図２は、第１の実施形態に係る撮像素子１１の構成を示すブロック図である。図２において、開口画素領域２０（画素部）を構成する画素として、４行４列に行列状に配列された画素２１を示している。以下、例えば、画素２１（００）は第０行目かつ第０列目に存在する画素を表すといったように、行を「ｐ」、列を「ｑ」として、画素２１（ｐｑ）は第ｐ行目の第ｑ列目に存在する画素を表す。なお、図２では１６画素のみ表しているが、実用上は数千万画素に及ぶものが多くなっている。

撮影光学系１０を介して各画素２１に入射した光は、フォトダイオードＰＤ（光電変換部）によって光量に応じた電荷に変換される。転送トランジスタＴＸは、フォトダイオードＰＤで発生した電荷を、ソースフォロワを構成する増幅トランジスタＳＦのゲートを含む転送ノードに転送する。リセットトランジスタＲＥＳは、転送ノードを所定の電圧にリセットするために用いられる。また、リセットトランジスタＲＥＳと転送トランジスタＴＸとを同時にオンにすることで、フォトダイオードＰＤをリセットすることができる。選択トランジスタＳＥＬは、増幅トランジスタＳＦのドレインを含む出力ノードに接続され、該当する行が選択されたときに、出力ノードの電圧を後述する垂直信号線ＶＬに出力する。

垂直走査回路２３は、転送トランジスタＴＸ、リセットトランジスタＲＥＳ、選択トランジスタＳＥＬをそれぞれ所定のタイミングで水平方向に一斉に、また、列方向に順次制御することで、行単位で画素２１の駆動制御を行う。

垂直信号線ＶＬは、上下に分割して配線されており、図２において下側の配線をＶＬａｑ、上側の配線をＶＬｂｑと表す。従って、分割された垂直信号線ＶＬａｑ，ＶＬｂｑのそれぞれにつき、一行単位、即ち、２行ずつ同時に信号を読み出すことができる。なお、垂直信号線ＶＬａｑに出力された信号（すなわち、下半分の領域の信号）を処理する構成には、以下、「ａ」を付し、垂直信号線ＶＬｂｑに出力された信号（すなわち、上半分の領域の信号）を処理する構成には、以下、「ｂ」を付す。また、「ａ」により示される下半分の画素領域を「ａ領域」、「ｂ」により示される上半分の画素領域を「ｂ領域」と呼ぶ。図２では、２行目の画素２１（１ｑ）と３行目の画素２１（２ｑ）とを境界領域として、各列共、ａ領域とｂ領域とに分割されている。垂直信号線ＶＬａｑ，ＶＬｂｑを介して、フォトダイオードＰＤで発生した電荷に対応する電圧を、列回路ＣＯＬａｑ，ＣＯＬｂｑにそれぞれ伝達する。

列回路ＣＯＬａｑ，ＣＯＬｂｑは、それぞれ、増幅回路Ａｍｐに所定の容量で負帰還を施し、不図示の基準電圧との差分電圧を増幅し、増幅した電圧を蓄積部Ｃａｐに一時記憶する。また、蓄積部Ｃａｐから増幅された電圧を読み出すための読み出し制御用トランジスタＳＨを備える。列回路ＣＯＬａｑ，ＣＯＬｂｑは、このようにして増幅した電圧をＡＤ変換回路ＡＤａｑ，ＡＤｂｑに伝達する。

ＡＤ変換回路ＡＤａｑ，ＡＤｂｑは、列回路ＣＯＬａｑ，ＣＯＬｂｑから出力される電圧と、時間に比例して増減するＲＡＭＰ信号とを比較する比較器Ｃｏｍｐと、比較器Ｃｏｍｐの出力をそのＥｎａｂｌｅ端子に入力するカウンタ回路Ｃｎｔとを備える。カウンタ回路Ｃｎｔは、ＲＡＭＰ信号と、列回路ＣＯＬａｑ，ＣＯＬｂｑから出力される電圧との比較結果に応じて、後述する所定の制御によりカウントを行うことで、フォトダイオードＰＤで発生した電荷に対応するデジタルカウント値を得ることができる。これにより、アナログデジタル変換を行う。

２つの水平走査回路２４ａ，２４ｂは、ＡＤ変換回路ＡＤａｑ，ＡＤｂｑから出力されたデジタルカウント値を水平方向に順次選択し、水平信号線ＨＬａ，ＨＬｂに転送することで、各々一行分のデジタル撮像信号を読み出す。

タイミング発生回路（ＴＧ）２２は、垂直走査回路２３、水平走査回路２４ａ，２４ｂ、ＡＤ変換回路ＡＤａｑ，ＡＤｂｑ等を順次制御するためのタイミング信号を発生する。タイミング信号の発生は、例えばＲＯＭ１５に記憶された、いくつかのパターンの内のいずれかをシステム制御部１４により選択することで実現してもよい。

また、開口画素領域２０と列回路ＣＯＬａｑ，ＣＯＬｂｑとに隣接して、遮光画素領域ＶＯＢａおよびＶＯＢｂが配置されている。遮光画素領域ＶＯＢａ，ＶＯＢｂを構成する画素としては、画素２１と同じ基本構成を有し、フォトダイオードＰＤを遮光構造としたタイプや、フォトダイオードＰＤを無くしたタイプなどが提案されている。

図３は、第１の実施形態における分割境界における画素２１の駆動タイミングを示すタイミングチャートである。第１の実施形態においては、開口画素領域２０の画素２１のうち、垂直信号線ＶＬａｑ，ＶＬｂｑの分割境界にあたる第２行目と第３行目の画素２１を駆動して補正値を取得する。その後、第２行目と第３行目の画素２１を含む全ての画素２１から、画像信号を読み出していく。

図３において、選択信号ＰＳＥＬ、リセット信号ＰＲＥＳ、転送信号ＰＴＸはそれぞれ、画素２１（ｐｑ）内の選択トランジスタＳＥＬ、リセットトランジスタＲＥＳ、転送トランジスタＴＸのゲートに印加される信号を表している。各信号のＨｉ期間に各トランジスタはＯＮとなり、Ｌｏ期間にＯＦＦとなる。

また、制御信号ＰＳＨは、列回路ＣＯＬａｑ，ＣＯＬｂｑ内の読み出し制御用トランジスタＳＨのゲートに印加される信号を表したものであり、読み出し制御用トランジスタＳＨは、Ｈｉ期間にＯＮ、Ｌｏ期間にＯＦＦとなる。ＲＡＭＰはＲＡＭＰ信号、ＣＯＭＰは比較器Ｃｏｍｐの出力、ＣＮＴはカウンタ回路Ｃｎｔのカウント値を表す。ＨＳＲは、水平走査回路２４ａ，２４ｂが発生する水平走査信号である。

時刻ｔ０からｔ１において、リセット信号ＰＲＥＳをＨｉとして、リセットトランジスタＲＥＳをＯＮし、転送ノードを所定の電源電圧にリセットする。その後、時刻ｔ１においてリセットトランジスタＲＥＳをＯＦＦにすると、転送ノードは浮遊状態となる。この間、選択信号ＰＳＥＬはＨｉとなっているため、画素２１（１ｑ）、２１（２ｑ）の転送ノードの電圧（以下、「基準電圧Ｎ１」と呼ぶ。）は選択トランジスタＳＥＬを介してそれぞれ垂直信号線ＶＬａｑ，ＶＬｂｑに出力される。そして基準電圧Ｎ１は列回路ＣＯＬａｑ，ＣＯＬｂｑ内の増幅回路Ａｍｐにて増幅される。

時刻ｔ２までの間に列回路ＣＯＬａｑ，ＣＯＬｂｑ内の蓄積部Ｃａｐからの読み出し制御用トランジスタＳＨをＯＮ−ＯＦＦし、基準電圧Ｎ１を増幅した電圧（基準レベルＮ１）をＡＤ変換回路ＡＤａｑ，ＡＤｂｑに伝達するべき電圧として確定する。そして、時刻ｔ２においてＲＡＭＰ信号を発生し、基準レベルＮ１と等しくなるまでの経過時間をカウンタ回路Ｃｎｔでカウントすることで、基準レベルＮ１のＡＤ変換を行う。時刻ｔ２では、基準レベルＮ１＜ＲＡＭＰであるので、比較器Ｃｏｍｐの出力はＨｉとなっている。カウンタ回路Ｃｎｔはこの比較器Ｃｏｍｐの出力をＥｎａｂｌｅ信号として動作する。

時刻ｔ３において、基準レベルＮ１≧ＲＡＭＰとなると、比較器Ｃｏｍｐの出力はＬｏに変わる。これによりカウンタ回路Ｃｎｔは停止状態となり、基準レベルＮ１のＡＤ変換を自動的に終了する。なお、時刻ｔ２から始まる基準レベルＮ１のＡＤ変換中に、カウンタ回路Ｃｎｔではダウンカウントしておく。

次に、転送信号ＰＴＸはＬｏを維持し、フォトダイオードＰＤから転送ノードへの信号電荷の転送を行わないまま、時刻ｔ５までの間に列回路ＣＯＬａｑ，ＣＯＬｂｑ内の蓄積部Ｃａｐからの読み出し制御用トランジスタＳＨを再度ＯＮ−ＯＦＦする。これにより、基準電圧Ｎ１に時刻ｔ１からｔ５の間での時間に応じたノイズが重畳した電圧Ｎ２を増幅した電圧（ノイズレベルＮ２）をＡＤ変換回路ＡＤａｑ，ＡＤｂｑに伝達するべき電圧として確定する。そして、時刻ｔ５においてＲＡＭＰ信号を発生し、ノイズレベルＮ２と等しくなるまでの経過時間をカウントすることで、ノイズレベルＮ２のＡＤ変換を行う。ここで、カウンタ回路Ｃｎｔにより基準レベルＮ１までダウンカウントしているため、時刻ｔ５からアップカウントすることで、時刻ｔ６のカウント終了時には、基準レベルＮ１とノイズレベルＮ２との差分、すなわち、ノイズ成分に対応したカウント値が得られる。このノイズ成分に対応したカウント値が、補正値となる。

上述した補正値の取得駆動では、転送ノードの電圧を所定の時間差で２回読み出し、２回目に読み出した信号と１回目に読み出した信号の差分（ノイズ）をデジタル化したことになるので、時間に応じた変化（ノイズ）が無ければ、ゼロとなるはずである。しかしながら、例えば増幅回路Ａｍｐの列毎のオフセット差分や一時記憶用の蓄積部Ｃａｐの容量ばらつき、読み出し制御用トランジスタＳＨの閾値ばらつきに起因する列間差等、一次元ダークシェーディングデータが含まれているため、ゼロにならない。

次いで、時刻ｔ８からｔ１０において水平走査信号を発生し、ＡＤ変換により得られた補正値を水平方向に順次選択する。その結果、一次元ダークシェーディングデータを構成する補正値が列順次に水平信号線ＨＬａ，ＨＬｂに転送され、領域ａ、領域ｂに分けて、それぞれラインメモリ１７に累積される。

なお、上述した補正値の取得駆動は、複数回行ってもよい。その際、分割境界の画素を複数回読み出してもよい。また、時刻ｔ２からｔ５の間に分割境界の画素を構成するトランジスタの微小リーク等の影響で基準レベルがずれてしまうこともあるので、分割境界の画素近傍で複数行を選択して複数回、補正値の取得駆動を行ってもよい。

上述した補正値の取得駆動が終了すると、次に、選択信号ＰＳＥＬの極性を変えずに、分割境界の画素を選択したまま、当該画素の光信号を読み出す。

まず、時刻ｔ７からｔ８において、リセット信号ＰＲＥＳをＨｉとし、リセットトランジスタＲＥＳをＯＮとして、転送ノードを所定の電源電圧にリセットする。時刻ｔ８においてリセットトランジスタＲＥＳをＯＦＦにすると、転送ノードは浮遊状態となる。この間、選択信号ＰＳＥＬはＨｉとなっているため、転送ノードの電圧は選択トランジスタＳＥＬを介して垂直信号線ＶＬａｑ，ＶＬｂｑに伝達されている。また、その電圧（基準電圧Ｎ１）は列回路ＣＯＬａｑ，ＣＯＬｂｑ内の増幅回路Ａｍｐにて増幅される。

時刻ｔ９までの間に列回路ＣＯＬａｑ，ＣＯＬｂｑ内の蓄積部Ｃａｐからの読み出し制御用トランジスタＳＨをＯＮ−ＯＦＦし、基準電圧Ｎ１を増幅した電圧（基準レベルＮ１）をＡＤ変換回路ＡＤａｑ，ＡＤｂｑに伝達するべき電圧として確定する。そして、時刻ｔ９においてＲＡＭＰ信号を発生し、基準レベルＮ１と等しくなるまでの経過時間をカウンタ回路Ｃｎｔでカウントすることで、基準レベルＮ１のＡＤ変換を行う。時刻ｔ９では、基準レベルＮ１＜ＲＡＭＰであるので、比較器Ｃｏｍｐの出力はＨｉとなっている。カウンタ回路Ｃｎｔはこの比較器Ｃｏｍｐの出力をＥｎａｂｌｅ信号として動作する。

時刻ｔ１１において、基準レベルＮ１≧ＲＡＭＰとなると、比較器Ｃｏｍｐの出力はＬｏに変わる。これによりカウンタ回路Ｃｎｔは停止状態となり、基準レベルＮ１のＡＤ変換を自動的に終了する。なお、時刻ｔ９から始まる基準レベルＮ１のＡＤ変換前に、カウンタ回路Ｃｎｔを一旦０に戻してからダウンカウントする。

一方、時刻ｔ１０からｔ１２において、転送信号ＰＴＸをＨｉにして転送トランジスタＴＸをＯＮにし、転送ノードにフォトダイオードＰＤで発生した光電荷を転送する。この光電荷に対応して生じる転送ノードの電圧降下は、垂直信号線ＶＬａｑ，ＶＬｂｑの電圧に現れる。この電圧も基準レベルＮ１と同様に、列回路ＣＯＬａｑ，ＣＯＬｂｑ内の増幅回路Ａｍｐにて増幅される。

時刻ｔ１２においてＲＡＭＰ信号を発生し、増幅された光電荷に対応した電圧Ｓと、ノイズレベルＮ２に対応した電圧Ｎ２との和である信号電圧と等しくなるまでの経過時間をカウントすることで、信号レベルのＡＤ変換を行う。このとき、カウンタ回路Ｃｎｔは基準レベルＮ１のダウンカウントしたカウント値から、アップカウントする。これにより、時刻ｔ１４のカウント終了時には、光電荷に対応した電圧Ｓと、ノイズレベルＮ２と基準レベルＮ１との差、つまり、ノイズ成分に対応した電圧との和をＡＤ変換したカウント値が得られることになる。

次いで、時刻ｔ１６からｔ１７において水平走査信号を発生し、ＡＤ変換された光レベルＳのカウント値を水平方向に順次選択する。その結果、１行分のデジタル撮像信号が列順次に水平信号線ＨＬａ，ＨＬｂに転送される。なお、水平信号線ＨＬａ，ＨＬｂ上のデジタル信号は、Low Voltage Differential Signal（ＬＶＤＳ）などの高速シリアル信号フォーマットで出力する。

なお、時刻ｔ１３からｔ１５までの間の任意の時間、図３では時刻ｔ１４からｔ１５において、選択信号ＰＳＥＬがＬｏとなる。これにより、選択トランジスタＳＥＬをＯＦＦとして、分割境界の画素の選択を終了し、次の走査行、例えば、画素２１（０ｑ）および画素２１（３ｑ）を選択するといったように、順次、分割境界から離れる方向に選択して行く。次に選択した行の駆動方法は、上述した時刻ｔ７からｔ１６の信号読み出し駆動と同様の方法を繰り返す。ただし、時刻ｔ７からｔ１６における駆動方法では、光電荷に対応した電圧Ｓから、ノイズ電圧Ｎ２ではなく、基準電圧Ｎ１を差分した電圧に対応したカウント値が得られることになる。

なお、第１の実施形態では、分割境界の画素から列間差補正用の一次元ダークシェーディングデータを取得できればよい。従って、撮像装置の撮影光学系１０に含まれるメカニカルシャッタによって遮光した後、もしくは露光を開始する前に、補正値の取得用駆動を行ってもよい。その場合は時刻ｔ４までの間に転送信号ＰＴＸをＯＮとして光電荷に対応する電圧を含んだレベルを基準レベルとしても構わない。このようにメカニカルシャッタによる遮光を伴う補正値取得駆動は、常時信号電荷を発生させる動画モードよりも、静止画モードに好適である。

次に、上述したようにしてラインメモリ１７に累積した一次元ダークシェーディングデータを用いて行う補正動作について説明する。図４は、第１の実施形態に係る撮像装置１における補正処理を示すフローチャートである。

まずＳ４０１にて、上記説明した補正値の取得駆動により一次元ダークシェーディングデータを取得する。ここでは、分割境界の画素に対して複数回、補正値の取得駆動を行うか、または、分割境界近辺の画素に対して、補正値の取得駆動することで、各列毎に複数の一次元ダークシェーディングデータを取得するものとする。そして、垂直信号線ＶＬａｑを介して出力されたものと、垂直信号線ＶＬｂｑを介して出力されたものとを分けてラインメモリ１７に累積して行く。累積が完了すると、Ｓ４０２において列毎に中央値を算出する。

ところで、取得した補正値には、Random Telegraph Signalノイズ等によるばらつきが所定の確率で発生することが知られている。そこで、これを外れ値として除外しておいた方が良好な補正効果が得られる。そこで、Ｓ４０３において、この中央値を元にして外れ値を検出する。すなわち、中央値と累積したデータとの差分が所定の閾値を超えるか否かを、列毎に、画像処理部１３にて判定する。着目したある列について外れ値があった場合はＳ４０４に進み、当該外れ値を除外して平均値を求める。またある列について外れ値がなかった場合はＳ４０５に進み、通常の平均値を求める。また、図３の時刻ｔ２からｔ５の間に、分割境界の画素を構成するトランジスタの微小リーク等の影響で基準レベルがずれることが分かっていれば、ＲＯＭ１５にその列座標とずれ量を記録しておき、これを減算してもよい。

Ｓ４０６において、これら列毎の平均値を統合して補正用一次元ダークシェーディングデータを生成する。なお、分割境界のそれぞれ１行分の画素からのみ一次元ダークシェーディングデータを得る場合には、Ｓ４０２からＳ４０６の処理は必要ない。

Ｓ４０７において、上述した読み出し駆動によって得られ、画像メモリ１２に一時記憶されているａ領域及びｂ領域それぞれの画像信号に対して、それぞれ対応する補正用一次元ダークシェーディングデータを列毎に減算補正する。これにより、分割境界における特性差分が目立たないようにすることができる。

Ｓ４０８において、分割された画像を合成し、１枚の画像を生成する。Ｓ４０９において、画像処理部１３により、キズ補正、ホワイトバランス、階調変換、３面同時化、ノイズリダクション等の画像処理を行い、記録回路１６を介して所定の記録媒体１９に画像を記録する。

以上説明したように第１の実施形態では、垂直信号線の分割境界を含む画素に対して、各分割領域のための一次元ダークシェーディングの補正値の取得駆動を行い、それを撮像装置のラインメモリ等で補正用一次元ダークシェーディングデータに変換する。そして、この補正用一次元ダークシェーディングデータを、分割した垂直信号線からそれぞれ出力される各分割領域の画像信号から減算補正することで、垂直信号線の分割境界における信号レベルの差を目立たなくすることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、撮像装置１のラインメモリ１７に、予め垂直信号線ＶＬａｑ，ＶＬｂｑの分割境界周辺の画素を補正値取得駆動して得られる一次元シェーディングデータの差分を生成しておく。そして、その差分を水平信号線ＨＬａ，ＨＬｂから出力された分割画像のいずれか一方より減算補正する。このようにすることで、画像処理部１３の処理にかかる負荷及び電力消費を軽減することができる。

図５は、第２の実施形態に係る撮像装置の構成を示すブロック図である。図１との相違は、ラインメモリ１７を、ラインメモリ１７ａおよびラインメモリ１７ｂ、および一次元ダークシェーディングデータ用の減算器１７ｃを用いて構成した点である。それ以外の構成は、図１に示すものと同様であるため、ここでは説明を省略する。

図６は、第２の実施形態に係る撮像装置の補正処理の一例を示すフローチャートである。図４との相違は、次の２点である。まずＳ６０１において、ラインメモリ１７ａに累積されたａ領域用の補正データと、ラインメモリ１７ｂに累積されたｂ領域用の補正データとの差分を生成する。そして、Ｓ６０２において、水平信号線ＨＬａ，ＨＬｂから出力されたａ領域及びｂ領域の画像信号のいずれか一方に対して、減算補正を実行する。このように、およそ半分の画像信号に対してのみ減算補正を実行するので、画像処理部１３の処理に係る負荷及び電力消費を軽減することができる。

なお、第２の実施形態においても、撮像装置の撮影光学系１０に含まれるメカニカルシャッタによって遮光した後、もしくは露光を開始する前であれば、時刻ｔ４までの間に転送信号ＰＴＸをＯＮとして、補正値の取得駆動を行ってもよい。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態は、上述した第１および第２の実施形態と比較して、撮像素子１１において、垂直信号線ＶＬａｑ，ＶＬｂｑの分割境界の画素を用いた補正処理までを行う点が異なる。

図７は、第３の実施形態に係る撮像素子１１の構成を示すブロック図である。図７に示す構成は、ラインメモリＭＥＭａおよびＭＥＭｂと、減算回路７１ａおよび７１ｂと、スイッチＳＷａおよびＳＷｂとを備えた点が、図２に示す構成と異なる。それ以外は、図２と同様であるため、同じ参照番号及び参照符号を付し、説明を省略する。

ラインメモリＭＥＭａおよびＭＥＭｂには、一次元ダークシェーディングデータを累積する。そして、減算回路７１ａ，７１ｂは、通常の読み出し駆動で取得した画像信号に対し、累積、または、第１の実施形態で説明した所定の外れ値処理を行った一次元ダークシェーディングデータを減算する。スイッチＳＷａおよびＳＷｂは、ＴＧ２２により制御され、補正値の取得駆動中はラインメモリＭＥＭａ，ＭＥＭｂ側の端子を、また、通常の読み出し駆動中は、減算回路７１ａ，７１ｂ側の端子を選択するように切り替える。

このような構成により、撮像素子１１内で垂直信号線ＶＬａｑ，ＶＬｂｑの分割境界を目立たなくする補正処理を実行することができる。

なお、本第３の実施形態における撮像素子１１の駆動方法は、図３を参照して説明した第１の実施形態と同等であるため、説明を省略する。

また、第３の実施形態においても、撮像装置１の撮影光学系１０に含まれるメカニカルシャッターによって遮光した後、または露光を開始する前であれば、時刻ｔ４までの間に転送信号ＰＴＸをＯＮとして補正値の取得駆動を行ってもよい。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。図８は第４の実施形態に係る撮像素子１１の構成例を示すブロック図である。第３の実施形態で説明した撮像素子１１との相違は、撮像素子１１を２つの半導体基板ＳＵＢ１およびＳＵＢ２上に分けて構成した点である。半導体基板ＳＵＢ１（図中破線）は、開口画素領域２０と遮光画素領域ＶＯＢａ，ＶＯＢｂとを含む。一方、半導体基板ＳＵＢ２は、列回路ＣＯＬａｑ，ＣＯＬｂｑ、ＡＤ変換回路ＡＤａｑ，ＡＤｂｑ、垂直走査回路２３、水平走査回路２４ａ，２４ｂ、ラインメモリＭＥＭａ，ＭＥＭｂ、減算回路７１ａ，７１ｂ等を含む。また、例えば両半導体基板ＳＵＢ１，ＳＵＢ２を互いに積層し、垂直信号線ＶＬａｑ，ＶＬｂｑ上の貫通電極ＶＩＡａ１〜ＶＩＡａ３およびＶＩＡｂ１〜ＶＩＡｂ３によって電気的に接続する。この貫通電極は、例えば、Through Silicon Via（ＴＳＶ）等である。

半導体基板ＳＵＢ２に、画素２１を備えるＳＵＢ１に比べてより微細化された半導体のプロセスを使用すれば、ラインメモリＭＥＭａ，ＭＥＭｂや減算回路７１ａ，７１ｂを配置するスペースの余裕はさらに高まる。そこで、生じた余裕スペースを利用して、ラインメモリＭＥＭａ，ＭＥＭｂ上に累積された一次元ダークシェーディングデータの外れ値を処理するための更に高度な回路を新たに付加することも可能となる。

なお、第４の実施形態のように垂直信号線ＶＬａｑ，ＶＬｂｑ上の貫通電極ＶＩＡによる電気的接続は一例にすぎない。垂直信号線、列回路、ＡＤ変換回路等、いずれの箇所で半導体基板を分けて貫通電極ＶＩＡによる接続を行うかは、任意である。

以上、好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず適用可能である。また、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記第１〜第４の実施形態においては、垂直信号線を上下２分割した場合について説明したが、上下方向に３分割以上した場合にも、本発明を適用することができる。

１１：撮像素子、１２：画像メモリ、１３：画像処理部、１４：システム制御部、１７，１７ａ，１７ｂ：ラインメモリ、１７ｃ：減算器、２０：開口画素領域、２１：画素、２２：タイミング発生回路（ＴＧ）、２３：垂直走査回路、２４ａ，２４ｂ：水平走査回路、７１ａ，７１ｂ：減算回路、ＰＤ：フォトダイオード、ＴＸ：転送トランジスタ、ＶＬａｑ，ＶＬｂｑ：垂直信号線、ＣＯＬａｑ，ＣＯＬｂｑ：列回路、ＡＤａｑ，ＡＤｂｑ：ＡＤ変換回路、ＭＥＭａ，ＭＥＭｂ：ラインメモリ、ＳＷａ，ＳＷｂ：スイッチ

Claims (19)

1. 行列状に配置された複数の画素からなる画素部と、
   前記画素部を列方向に分割した複数の領域から並行に読み出された信号に、並行に予め決められた処理を行って出力する複数の出力手段と、
   前記複数の領域から補正データを取得するための信号を前記複数の出力手段に読み出す第１の駆動と、前記複数の領域から画像信号を前記複数の出力手段に読み出す第２の駆動とを行うように制御する制御手段と、
   前記第１の駆動により読み出された信号から前記補正データを取得し、当該補正データにより、前記画像信号を補正する補正手段と、を有し、
   前記制御手段は、前記複数の領域それぞれについて、分割境界の行を含む一部の行の画素に対して、複数回、前記第１の駆動を行て信号を読み出し、
   前記補正手段は、前記複数回の読み出しで得られた信号のうち、各列について、複数の信号の外れ値を除外し、平均することで、前記分割した領域ごとに前記補正データを取得することを特徴とする撮像装置。
2. 前記補正手段は、前記分割した領域ごとに得られた前記補正データにより、同じ領域から得られる画像信号を補正することを特徴とする請求項１に記載の撮像装置。
3. 前記分割した領域ごとの前記補正データをそれぞれ記憶する記憶手段を更に有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記分割した領域ごとに得られた前記補正データの差を記憶する記憶手段を更に有し、
   前記補正手段は、前記分割した領域のいずれかから得られた画像信号に、前記補正データの差を用いて補正を行うことを特徴とする請求項１に記載の撮像装置。
5. 前記画素部を遮光する遮光手段を更に有し、
   前記制御手段は、前記遮光手段により前記画素部を遮光している間に、前記第１の駆動を行うように制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記各画素は、光電変換部と、該光電変換部により生成された電荷を前記出力手段に転送する転送手段とを含み、
   前記第１の駆動では、前記転送手段による前記電荷の転送を行わずに、信号を読み出すことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 前記第１の駆動では、予め決められた時間をおいて信号を２回読み出し、前記補正手段は、当該読み出された信号の差に基づいて、補正データを取得し、
   前記第２の駆動では、前記転送手段による前記電荷の転送を行わずに、信号を読み出した後、前記予め決められた時間をおいて、前記転送手段による前記電荷の転送を行って画像信号を読み出すことを特徴とする請求項６に記載の撮像装置。
8. 前記補正手段は、前記画像信号から、１回目に読み出した信号を差分した信号に対して補正を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記複数の出力手段は、それぞれ、各列に設けられた複数のアナログデジタル変換手段を含み、１回目の読み出し時にダウンカウントを行い、２回目の読み出し時にアップカウントを行うことにより、信号の差分を得ることを特徴とする請求項７または８に記載の撮像装置。
10. 行列状に配置された複数の画素からなる画素部と、
    前記画素部を列方向に分割した複数の領域から並行に読み出された信号に、並行に予め決められた処理を行って出力する複数の出力手段と、
    前記複数の領域から補正データを取得するための信号を前記複数の出力手段に読み出す第１の駆動と、前記複数の領域から画像信号を前記複数の出力手段に読み出す第２の駆動とを行うように制御する制御手段と、
    前記分割した領域ごとに備えられた、前記第１の駆動により読み出された信号から前記補正データを取得し、当該補正データにより前記画像信号を補正する、複数の補正手段と、を有し、
    前記制御手段は、前記複数の領域それぞれについて、分割境界の行を含む一部の行の画素に対して、前記第１の駆動を行うことを特徴とする撮像素子。
11. 前記制御手段は、前記分割した領域ごとに前記第１の駆動により複数回、信号を読み出し、
    前記複数の補正手段は、前記複数回の読み出しで得られた信号のうち、各列について、複数の信号の外れ値を除外し、平均することで、前記補正データを取得することを特徴とする請求項１０に記載の撮像素子。
12. 前記各画素は、光電変換部と、該光電変換部により生成された電荷を前記出力手段に転送する転送手段とを含み、
    前記第１の駆動では、前記転送手段による前記電荷の転送を行わずに、信号を読み出すことを特徴とする請求項１０または１１に記載の撮像素子。
13. 前記第１の駆動では、予め決められた時間をおいて信号を２回読み出し、前記補正手段は、当該読み出された信号の差に基づいて、補正データを取得し、
    前記第２の駆動では、前記転送手段による前記電荷の転送を行わずに、信号を読み出した後、前記予め決められた時間をおいて、前記転送手段による前記電荷の転送を行って画像信号を読み出すことを特徴とする請求項１２に記載の撮像素子。
14. 前記複数の補正手段は、前記画像信号から、１回目に読み出した信号を差分した信号に対して補正を行うことを特徴とする請求項１３に記載の撮像素子。
15. 前記複数の出力手段は、それぞれ、各列に設けられた複数のアナログデジタル変換手段を含み、１回目の読み出し時にダウンカウントを行い、２回目の読み出し時にアップカウントを行うことにより、信号の差分を得ることを特徴とする請求項１３または１４に記載の撮像素子。
16. 前記画素部を第１の基板に構成し、
    前記複数の出力手段と、前記制御手段と、前記複数の補正手段とを、第２の基板に構成したことを特徴とする請求項１０乃至１５のいずれか１項に記載の撮像素子。
17. 前記第１の基板と、前記第２の基板とを積層したことを特徴とする請求項１６に記載の撮像素子。
18. 行列状に配置された複数の画素からなる画素部と、前記画素部を列方向に分割した複数の領域から並行に読み出された信号に、並行に予め決められた処理を行って出力する複数の出力手段とを含む撮像素子を有する撮像装置の制御方法であって、
    制御手段が、前記複数の領域から補正データを取得するための信号を前記複数の出力手段に読み出す第１の駆動と、前記複数の領域から画像信号を前記複数の出力手段に読み出す第２の駆動とを行うように制御する制御工程と、
    補正手段が、前記第１の駆動により読み出された信号から前記補正データを取得し、当該補正データにより、前記画像信号を補正する補正工程と、を有し、
    前記制御工程では、前記複数の領域それぞれについて、分割境界の行を含む一部の行の画素に対して、複数回、前記第１の駆動を行って信号を読み出し、
    前記補正工程では、前記複数回の読み出しで得られた信号のうち、各列について、複数の信号の外れ値を除外し、平均することで、前記分割した領域ごとに前記補正データを取得することを特徴とする撮像装置の制御方法。
19. 行列状に配置された複数の画素からなる画素部と、前記画素部を列方向に分割した複数の領域から並行に読み出された信号に、並行に予め決められた処理を行って出力する複数の出力手段とを有する撮像素子の制御方法であって、
    制御手段が、前記複数の領域から補正データを取得するための信号を前記複数の出力手段に読み出す第１の駆動と、前記複数の領域から画像信号を前記複数の出力手段に読み出す第２の駆動とを行うように制御する制御工程と、
    前記分割した領域ごとに備えられた複数の補正手段が、前記第１の駆動により読み出された信号から前記補正データを取得し、当該補正データにより前記画像信号を補正する補正工程と、を有し、
    前記制御工程では、前記複数の領域それぞれについて、分割境界の行を含む一部の行の画素に対して、前記第１の駆動を行うことを特徴とする撮像素子の制御方法。

Images