JP6758925B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に画素領域を複数の領域に分割して読み出し可能な撮像装置及びその制御方法に関する。

近年、撮像素子の分野では、高画素数かつ高フレームレートへの要請から、読み出し速度を一層向上するべく種々の技術が提案されている。特許文献１には、光電変換素子と、増幅トランジスタと、選択トランジスタとを有する、二次元状に配設された複数の画素回路と、複数の垂直信号線等を具備する撮像素子が開示されている。複数の垂直信号線の各々は、複数の画素回路を列方向に分割して独立に駆動可能で、かつ、ＡＤ変換回路が接続され、分割した画素回路同士が隣接する行から離間する向き等に、画素回路を行単位で順次駆動する。このように分割された垂直信号線であれば、非分割の垂直信号線に比べて寄生抵抗および寄生容量が半減するので、画素回路からの信号電圧の垂直信号線に伝える際の静定時間が短くなるため、アナログ信号段階での高速読み出しに寄与する。また、各種公知技術があるため詳細を割愛するが、ＡＤ変換段階やデジタル信号段階においても、それぞれ高速読み出しに寄与する技術が提案されている。

一方、撮像素子の信号を列毎に高精度に補正する技術が従来から提案されている。特許文献２には、開口画素領域の各画素列に対応して画素ダミー増幅トランジスタが設けられた固体撮像装置が開示されている。この固体撮像装置は、垂直信号線に画素ダミー信号を出力する画素ダミー領域と、画素ダミー増幅トランジスタに印加するバイアス電圧を制御するバイアス制御回路とを有する。そして、これらを、開口画素選択時には太陽黒化補正手段として、また、開口画素非選択時には画素列毎のオフセット性およびゲイン性の縦筋検出を行い各画素列間の誤差を補正する縦筋補正手段として共用することが開示されている。

特開２０１３−２４３７８１号公報 特開２００８−１２４５２７号公報

しかしながら、上述したように分割された垂直信号線は互いに異なる列回路やＡＤ変換回路に接続されているため、それぞれゲイン誤差を生じることに加え、分割した垂直信号線とのカップリング容量などに起因するゲイン誤差およびその温度変化も生じる。そのため、分割した境界の画素信号に特性差が生じてしまうが、この特性差は、撮影画像の中央付近に生じること、そして、列間で切れ目なく生じることから目に付きやすく、わずかであっても鑑賞者の検知限を超えてしまう。

特に、カップリング容量などに起因するゲイン誤差を、撮像素子面内の温度分布までを考慮して検出するには、ＡＤ変換回路に近い側ではなく、分割した境界の画素近傍に画素ダミー領域を配置するのが望ましい。しかし、画素ダミー領域を分割した境界の画素近傍に配置することは非常に困難である。

本発明は上記問題点を鑑みてなされたものであり、画素部を垂直方向に分割して読み出す撮像素子を用いる際に、画素ダミー領域を使用することなく、分割境界における画素列毎のゲイン差を高精度に補正することを目的とする。

上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数の画素からなる画素部と、前記画素部を列方向に分割した複数の領域から並行に読み出された信号に、並行に予め決められた処理を行って出力する複数の出力手段と、前記画素部の予め決められた行の各画素から、予め決められた電圧に対応する補正用信号を前記出力手段に読み出す第１の駆動と、前記画素部から画像信号を前記複数の出力手段に読み出す第２の駆動とを行うように制御する制御手段と、前記複数の領域の各領域について、前記複数の出力手段を介して出力された前記補正用信号の列間の差を補正するゲインデータを生成し、当該ゲインデータにより、前記複数の出力手段を介して出力された対応する前記複数の領域それぞれの前記画像信号を補正する補正手段と、を有し、前記予め決められた行は、前記各領域における分割境界の行を含む一部の行であることを特徴とする。

本発明の撮像装置によれば、画素部を垂直方向に分割して読み出す撮像素子を用いる際に、画素ダミー領域を使用することなく、分割境界における画素列毎のゲイン差を高精度に補正することができる。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図。 第１の実施形態に係る撮像素子の構成を示すブロック図。 第１の実施形態に係る撮像素子の駆動方法を示すタイミングチャート。 第１の実施形態に係る撮像素子のドライバ回路の一部を示すブロック図。 第１の実施形態に係る撮像装置における補正処理を示すフローチャート。 第２の実施形態に係る撮像装置の補正値取得データの一例を示す模式図。 第２の実施形態に係る撮像装置における補正処理を示すフローチャート。 第３の実施形態に係る撮像装置における補正処理を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置１の概略構成を示すブロック図である。図１において、システム制御部１４は、撮像装置１全体を制御するプログラムを実行する全体制御部である。制御プログラムの全部または一部はＲＯＭ１５に格納されており、制御モード毎に必要なプログラムを読み出して実行するように構成してもよい。ＲＯＭ１５には、更に、後述するように特定のキズアドレスを記録しておき、補正処理に用いる画素列毎のゲインデータの算出に利用する。

撮影光学系１０は、不図示の操作部によって、ユーザから絞り、ズーム、フォーカス等の指定を受け付けたシステム制御部１４より光学系駆動回路１８を介して、目的の制御と、不図示のメカニカルシャッター等の遮光部の開閉が行われる。

撮像素子１１は、制御の完了した撮影光学系１０により結像した光を受光して、光電変換を行い、光電変換により得られた電圧信号をＡＤ変換してデジタル画像信号を生成する。撮像素子１１は、システム制御部１４により後述するタイミング発生回路（ＴＧ）２２の駆動パターンを選択して設定することにより、一連の駆動を行う。なお、第１の実施形態においては、撮像素子１１の各垂直信号線は後述するように列方向に２分割されており、分割された各垂直信号線につきそれぞれ行順次に並行にＡＤ変換が行われるので、２行分のデジタル画像信号が画像処理部１３に転送される。

撮像素子１１から出力されたデジタル画像信号は、フレーム毎にまとめて画像メモリ１２に一時記憶されたり、または行単位で画素列毎のゲインデータの算出のためにラインメモリ１７に累積記憶される。詳細は後述するが、画素列毎のゲインデータの算出に必要な行数分の転送が完了すると、ラインメモリ１７に累積記憶されたデータに対してキズ除去、平均化等の処理を行い、画像メモリ１２に記憶されるべき画像データのゲイン補正を行う。そして、ゲイン補正された１フレーム分のデジタル画像信号が画像メモリ１２に一時記憶された後、画像処理部１３によって所定の画像処理が行われる。

画像処理部１３にて行われる画像処理としては、上述したゲイン補正の他、分割部合成、ホワイトバランス補正、３面同時化、ノイズリダクション、シャープネス調節等を挙げることができる。

画像処理部１３により画像処理が施された処理済み画像は、記録回路１６においてＪＰＥＧ（Joint Photographic Experts Group）等の画像規格への圧縮が行われた後、記録媒体１９に記録される。

図２は、第１の実施形態に係る撮像素子１１の構成を示すブロック図である。図２において、開口画素領域２０（画素部）を構成する画素として、４行４列に行列状に配列された画素２１を示している。以下、例えば、画素２１（００）は第０行目かつ第０列目に存在する画素を表すといったように、行を「ｐ」、列を「ｑ」として、画素２１（ｐｑ）は第ｐ行目の第ｑ列目に存在する画素を表す。なお、図２では１６画素のみ表しているが、実用上は数千万画素に及ぶものが多くなっている。

撮影光学系１０を介して各画素２１に入射した光は、フォトダイオードＰＤ（光電変換素子）によって光量に応じた電荷に変換される。転送トランジスタＴＸは、フォトダイオードＰＤで発生した電荷を、ソースフォロワを構成する増幅トランジスタＳＦのゲートを含む転送ノードに転送する。リセットトランジスタＲＥＳは、転送ノードを所定の電圧にリセットするために用いられる。また、リセットトランジスタＲＥＳと転送トランジスタＴＸとを同時にオンにすることで、フォトダイオードＰＤをリセットすることができる。選択トランジスタＳＥＬは、増幅トランジスタＳＦのドレインを含む出力ノードに接続され、該当する行が選択されたときに、出力ノードの電圧を後述する垂直信号線ＶＬに出力する。

垂直走査回路２３は、転送トランジスタＴＸ、リセットトランジスタＲＥＳ、選択トランジスタＳＥＬをそれぞれ所定のタイミングで水平方向に一斉に、また、列方向に順次制御することで、行単位で画素２１の駆動制御を行う。

垂直信号線ＶＬは、上下に分割して配線されており、図２において下側の配線をＶＬａｑ、上側の配線をＶＬｂｑと表す。従って、分割された垂直信号線ＶＬａｑ，ＶＬｂｑのそれぞれにつき、一行単位、即ち、２行ずつ同時に信号を読み出すことができる。なお、垂直信号線ＶＬａｑに出力された信号（すなわち、下半分の領域の信号）を処理する構成には、以下、「ａ」を付し、垂直信号線ＶＬｂｑに出力された信号（すなわち、上半分の領域の信号）を処理する構成には、以下、「ｂ」を付す。また、「ａ」により示される下半分の画素領域を「ａ領域」、「ｂ」により示される上半分の画素領域を「ｂ領域」と呼ぶ。図２では、２行目の画素２１（１ｑ）と３行目の画素２１（２ｑ）とを境界領域として、各列共、ａ領域とｂ領域とに分割されている。垂直信号線ＶＬａｑ，ＶＬｂｑを介して、フォトダイオードＰＤで発生した電荷に対応する電圧を、列回路ＣＯＬａｑ，ＣＯＬｂｑにそれぞれ伝達する。

列回路ＣＯＬａｑ，ＣＯＬｂｑは、それぞれ、増幅回路Ａｍｐに所定の容量で負帰還を施し、不図示の基準電圧との差分電圧を増幅し、増幅した電圧を蓄積部Ｃａｐに一時記憶する。また、蓄積部Ｃａｐから増幅された電圧を読み出すための読み出し制御用トランジスタＳＨを備える。列回路ＣＯＬａｑ，ＣＯＬｂｑは、このようにして増幅した電圧をＡＤ変換回路ＡＤａｑ，ＡＤｂｑに伝達する。

ＡＤ変換回路ＡＤａｑ，ＡＤｂｑは、列回路ＣＯＬａｑ，ＣＯＬｂｑから出力される電圧と、時間に比例して増減するＲＡＭＰ信号とを比較する比較器Ｃｏｍｐと、比較器Ｃｏｍｐの出力をそのＥｎａｂｌｅ端子に入力するカウンタ回路Ｃｎｔとを備える。カウンタ回路Ｃｎｔは、ＲＡＭＰ信号と、列回路ＣＯＬａｑ，ＣＯＬｂｑから出力される電圧との比較結果に応じて、後述する所定の制御によりカウントを行うことで、フォトダイオードＰＤで発生した電荷に対応するデジタルカウント値を得ることができる。これにより、アナログデジタル変換を行う。

２つの水平走査回路２４ａ，２４ｂは、ＡＤ変換回路ＡＤａｑ，ＡＤｂｑから出力されたデジタルカウント値を水平方向に順次選択し、水平信号線ＨＬａ，ＨＬｂに転送することで、各々一行分のデジタル撮像信号を読み出す。

タイミング発生回路（ＴＧ）２２は、垂直走査回路２３、水平走査回路２４ａ，２４ｂ、ＡＤ変換回路ＡＤａｑ，ＡＤｂｑ等を順次制御するためのタイミング信号を発生する。タイミング信号の生成は、例えばＲＯＭ１５に記憶された、いくつかのパターンの内のいずれかをシステム制御部１４により選択することで実現してもよい。

図３は、第１の実施形態における分割境界における画素２１の駆動タイミングを示すタイミングチャートである。第１の実施形態においては、開口画素領域２０の画素２１のうち、垂直信号線ＶＬａｑ，ＶＬｂｑの分割境界にあたる第２行目と第３行目の画素２１を駆動して補正値を取得する。その後、第２行目と第３行目の画素２１を含む全ての画素２１から、画像信号を読み出していく。

図３において、選択信号ＰＳＥＬ、転送信号ＰＴＸはそれぞれ、画素２１（ｐｑ）内の選択トランジスタＳＥＬ、転送トランジスタＴＸのゲートに印加される信号を表しており、各信号のＨｉ期間に各トランジスタはＯＮとなり、Ｌｏ期間にＯＦＦとなる。リセット信号ＰＲＥＳは、リセットトランジスタＲＥＳのゲートに印加される電圧を表しており、Ｈｉ期間にＯＮ、Ｌｏ期間にＯＦＦ（遮断）となるが、補正値取得駆動中、ゲインを測定するために、ＨｉとＬｏの間の予め決められた中間電圧ＶＭを与える。

また、制御信号ＰＳＨは、列回路ＣＯＬａｑ，ＣＯＬｂｑ内の読み出し制御用トランジスタＳＨのゲートに印加される信号を表したものであり、読み出し制御用トランジスタＳＨは、Ｈｉ期間にＯＮ、Ｌｏ期間にＯＦＦとなる。ＲＡＭＰはＲＡＭＰ信号、ＣＯＭＰは比較器Ｃｏｍｐの出力、ＣＮＴはカウンタ回路Ｃｎｔのカウント値を表す。ＨＳＲは、水平走査回路２４ａ，２４ｂが発生する水平走査信号である。

図４は、このような補正値取得駆動が可能なように構成された、撮像素子１１のドライバ回路の一部、特にリセットトランジスタＲＥＳのゲートに印加するリセット信号ＰＲＥＳを発生するドライバ回路の一例を示すブロック図である。ドライバ回路は、ドライバ（Ｄｒ）３０１と選択部３０２とを備える。ドライバ３０１は、ＴＧ２２からの制御信号を受けて、Ｈｉ期間に対応して電源電圧ＶＤＤを出力すると共に、Ｌｏ期間に対応して中間電圧ＶＭもしくは接地電圧ＧＮＤを出力する。選択部３０２は、補正値取得駆動を示す信号に基づいてＬｏ期間の電源を中間電圧ＶＭと接地電圧ＧＮＤより選択して、ドライバ３０１に供給する。なお、中間電圧ＶＭを変更することも可能である。

図３に示す処理において、まず、補正値取得駆動を行う。時刻ｔ０において、リセット信号ＰＲＥＳをＨｉとして、リセットトランジスタＲＥＳをＯＮとし、転送ノードを所定の電源電圧にリセットする。通常の信号読み出し駆動であれば、時刻ｔ１においてリセットトランジスタＲＥＳをＯＦＦにして転送ノードを浮遊状態にするが、補正値取得駆動ではＯＦＦにしない。この間、選択信号ＰＳＥＬはＨｉとなっているため、画素２１（１ｑ）、２１（２ｑ）の転送ノードの電源電圧（以下、「基準電圧Ｎ」と呼ぶ。）は選択トランジスタＳＥＬを介して垂直信号線ＶＬａｑ，ＶＬｂｑに出力される。そして基準電圧Ｎは列回路ＣＯＬａｑ，ＣＯＬｂｑ内の増幅回路Ａｍｐにて増幅される。

時刻ｔ２までの間に列回路ＣＯＬａｑ，ＣＯＬｂｑ内の蓄積部Ｃａｐからの読み出し制御用トランジスタＳＨをＯＮ−ＯＦＦし、基準電圧Ｎを増幅した電圧（基準レベルＮ）をＡＤ変換回路ＡＤａｑ，ＡＤｂｑに伝達するべき電圧として確定する。そして、時刻ｔ２においてＲＡＭＰ信号を発生し、基準レベルＮと等しくなるまでの経過時間をカウンタ回路Ｃｎｔでカウントすることで、基準レベルＮのＡＤ変換を行う。時刻ｔ２では、基準レベルＮ＜ＲＡＭＰであるので、比較器Ｃｏｍｐの出力端子はＨｉとなっている。カウンタ回路Ｃｎｔはこの比較器Ｃｏｍｐの出力をＥｎａｂｌｅ信号として動作する。

時刻ｔ３において、基準レベルＮ≧ＲＡＭＰとなると、比較器Ｃｏｍｐの出力はＬｏに変わる。これによりカウンタ回路Ｃｎｔは停止状態となり、基準レベルＮのＡＤ変換を自動的に終了する。なお、時刻ｔ２から始まる基準レベルＮのＡＤ変換中に、カウンタ回路Ｃｎｔではダウンカウントしておく。

信号読み出し駆動であれば時刻ｔ４までの間に転送信号ＰＴＸをＨｉとして転送トランジスタＴＸをＯＮとするが、補正値取得駆動では、転送信号ＰＴＸは時刻ｔ１０までＬｏを維持し、フォトダイオードＰＤの電荷を転送しない。ただし、第１の実施形態では、時刻ｔ２以降ｔ４までの間に中間電圧ＶＭをリセットトランジスタＲＥＳのゲートに与える。この中間電圧ＶＭは接地電圧ＧＮＤと電源電圧ＶＤＤの間で必要に応じて任意に設定することができる。

時刻ｔ５までの間に列回路ＣＯＬａｑ，ＣＯＬｂｑ内の蓄積部Ｃａｐからの読み出し制御用トランジスタＳＨを再度ＯＮ−ＯＦＦする。これにより、中間電圧ＶＭに対応した転送ノードの電圧を増幅した電圧（中間レベルＶＭ）をＡＤ変換回路ＡＤａｑ，ＡＤｂｑに補正値取得駆動のために伝達するべき電圧として確定する。そして、時刻ｔ５においてＲＡＭＰ信号を発生し、中間レベルＶＭ（補正用信号）と等しくなるまでの経過時間をカウントすることで、中間レベルＶＭのＡＤ変換を行う。ここで、カウンタ回路Ｃｎｔにより基準レベルＮまでダウンカウントしているため、時刻ｔ５からアップカウントすることで、時刻ｔ６のカウント終了時には、基準レベルＮと中間レベルＶＭとの差分ＳＶＭが得られる。また、このカウント方法により、転送ノードのリセットノイズに加えて、増幅回路Ａｍｐの列毎のオフセット差分や蓄積部Ｃａｐの容量ばらつきや読み出し制御用トランジスタＳＨの閾値ばらつきに起因するオフセット性の列間差等のノイズを除去することができる。

次いで、時刻ｔ８からｔ１０において水平走査信号を発生し、ＡＤ変換により得られた差分ＳＶＭを水平方向に順次選択する。その結果、差分ＳＶＭが列順次に水平信号線ＨＬａ，ＨＬｂに転送され、領域ａ、領域ｂに分けて、それぞれラインメモリ１７に累積される。

なお、上述した補正値の取得駆動は、複数回行ってもよい。その際、分割境界の画素を複数回読み出してもよい。また、時刻ｔ２からｔ５の間に分割境界の画素を構成するトランジスタの微小リーク等の影響で基準レベルがずれてしまうこともあるので、分割境界の画素近傍で複数行を選択して複数回、補正値の取得駆動を行ってもよい。

画素列毎のゲインデータを得るためには何らかの予め決められた電圧を与えられる基準ノードが必要なので、従来は、駆動の簡易性を鑑みて画素ダミー領域が使用されてきた。一方、垂直信号線ＶＬを分割した分割境界の画素の信号レベルを詳細に補正するには、この基準ノードが分割境界の画素を含むことが望ましいが、画素ダミー領域を分割境界の画素近傍に配置することは非常に困難である。第１の実施形態では上記説明したような特殊な駆動により、分割境界の画素２１（１ｑ）および２１（２ｑ）を基準ノードとして用いることで補正値取得駆動を行う。

上述した補正値取得駆動が終了すると、次に、選択信号ＰＳＥＬの極性を変えず分割境界の画素を選択したまま、当該画素の光信号の読み出し駆動を行う。

まず、時刻ｔ７からｔ８において、リセット信号ＰＲＥＳをＨｉとし、リセットトランジスタＲＥＳをＯＮとして、転送ノードを所定の電源電圧にリセットする。時刻ｔ８においてリセットトランジスタＲＥＳをＯＦＦにすると、転送ノードは浮遊状態となる。この間、選択信号ＰＳＥＬはＨｉとなっているため、転送ノードの電圧は選択トランジスタＳＥＬを介して垂直信号線ＶＬａｑ，ＶＬｂｑに伝達されている。また、その電圧（基準電圧Ｎ）は列回路ＣＯＬａｑ，ＣＯＬｂｑ内の増幅回路Ａｍｐにて増幅される。

時刻ｔ９までの間に列回路ＣＯＬａｑ，ＣＯＬｂｑ内の蓄積部Ｃａｐからの読み出し制御用トランジスタＳＨをＯＮ−ＯＦＦし、基準電圧Ｎを増幅した電圧（基準レベルＮ）をＡＤ変換回路ＡＤａｑ，ＡＤｂｑに伝達するべき電圧として確定する。そして、時刻ｔ９においてＲＡＭＰ信号を発生し、基準レベルＮと等しくなるまでの経過時間をカウンタ回路Ｃｎｔでカウントすることで、基準レベルＮのＡＤ変換を行う。時刻ｔ９では、基準レベルＮ＜ＲＡＭＰであるので、比較器Ｃｏｍｐの出力端子はＨｉとなっている。カウンタ回路Ｃｎｔはこの比較器Ｃｏｍｐの出力をＥｎａｂｌｅ信号として動作する。

時刻ｔ１１において、基準レベルＮ≧ＲＡＭＰとなると、比較器Ｃｏｍｐの出力はＬｏに変わる。これによりカウンタ回路Ｃｎｔは停止状態となり、基準レベルＮのＡＤ変換を自動的に終了する。なお、時刻ｔ９から始まる基準レベルＮのＡＤ変換前に、カウンタ回路Ｃｎｔを一旦０に戻してからダウンカウントする。

一方、時刻ｔ１０からｔ１２において、転送信号ＰＴＸをＨｉとして転送トランジスタＴＸをＯＮにし、転送ノードにフォトダイオードＰＤで発生した光電荷を転送する。この光電荷に対応して生じる転送ノードの電圧降下は、垂直信号線ＶＬａｑ，ＶＬｂｑの電圧に現れる。この電圧も基準レベルＮと同様に、列回路ＣＯＬａｑ，ＣＯＬｂｑ内の増幅回路Ａｍｐにて増幅される。

時刻ｔ１２においてＲＡＭＰ信号を発生し、増幅された信号電圧と等しくなるまでの経過時間をカウントすることで、信号レベルのＡＤ変換を行う。このとき、カウンタ回路Ｃｎｔは基準レベルＮのダウンカウントしたカウント値から、アップカウントする。これにより、時刻ｔ１４のカウント終了時には、ノイズ成分を除去した光電荷に対応した光レベルＳをＡＤ変換したカウント値が得られることになる。

次いで、時刻ｔ１６からｔ１７において水平走査信号を発生し、ＡＤ変換された光レベルＳのカウント値を水平方向に順次選択する。その結果、１行分のデジタル撮像信号が列順次に水平信号線ＨＬａ，ＨＬｂに転送される。なお、水平信号線ＨＬａ，ＨＬｂ上のデジタル信号は、Low Voltage Differential Signal（ＬＶＤＳ）などの高速シリアル信号フォーマットで出力する。

なお、時刻ｔ１３からｔ１５までの間の任意の時間、図３では時刻ｔ１４からｔ１５において選択信号ＰＳＥＬがＬｏとなる。これにより、選択トランジスタＳＥＬをＯＦＦとして、分割境界の画素の選択を終了し、次の走査行、例えば、画素２１（０ｑ）および画素２１（３ｑ）を選択するといったように、順次、分割境界から離れる方向に選択して行く。次に選択した行の駆動方法は、上記時刻ｔ７からｔ１６の信号読み出し駆動と同様の方法を繰り返す。

なお、第１の実施形態では、分割境界の画素を基準ノードとして利用することで列毎のゲイン差補正用の補正値取得データ（差分ＳＶＭ）が得られればよい。従って、撮像装置の撮影光学系１０に含まれるメカニカルシャッタによって遮光した後、もしくは露光を開始する前に、補正値取得駆動を行ってもよい。このようにメカニカルシャッタによる遮光を伴う補正値取得駆動は、常時信号電荷を発生させる動画モードよりも、静止画モードに好適である。

次に、上述したようにしてラインメモリ１７に累積した補正値取得データ（差分ＳＶＭ）を用いて行う補正動作について説明する。図５は、第１の実施形態に係る撮像装置における補正処理を示すフローチャートである。

まずＳ５０１にて、上記説明した補正値取得駆動により補正値取得データを取得する。ここでは、分割境界の画素に対して複数回、補正値取得駆動を行うか、または、分割境界近辺の画素に対して、補正値取得駆動を行うことで、各列毎に複数の補正値取得データを取得するものとする。そして、垂直信号線ＶＬａｑを介して出力されたものと、垂直信号線ＶＬｂｑを介して出力されたものとを分けてラインメモリ１７に累積して行く。累積が完了すると、Ｓ５０２において列毎に中央値を算出する。

ところで、取得した補正値には、Random Telegraph Signalノイズ等によるばらつきが所定の確率で発生することが知られている。そこで、これを外れ値として除外しておいた方が良好な補正効果が得られる。そこで、Ｓ５０３において、この中央値を元にして外れ値を検出する。すなわち、中央値と累積したデータとの差分が所定の閾値を超えるか否かを、列毎に、画像処理部１３にて判定する。着目したある列について外れ値があった場合はＳ５０４に進み、当該外れ値を除外して平均値を求める。またある列について外れ値がなかった場合はＳ５０５に進み、通常の平均値を求める。また、図３の時刻ｔ２からｔ５の間に、分割境界の画素を構成するトランジスタの微小リーク等の影響で基準レベルがずれることがわかっていれば、ＲＯＭ１５にその列座標とずれ量を記録しておき、これを減算してもよい。

Ｓ５０６において、これら列毎の平均値を統合して全列の平均値ＡＶＥsvmで除算することにより補正用の画素列毎のゲインデータを生成する。このようにして画素列毎のゲインデータを生成する理由は以下の通りである。すなわち、補正値取得データには、全列の平均値ＡＶＥsvmに対し、例えば増幅回路Ａｍｐの列毎のゲイン差分や比較器Ｃｏｍｐを構成するトランジスタの閾値ばらつきに起因する列毎のゲイン差が含まれている。更に、転送ノードと各分割された垂直信号線ＶＬとの間のカップリング容量に起因する列毎のゲイン差等も含まれている。従って、平均値ＡＶＥsvmで各画素列の補正値取得データを除算することで、画素列毎のゲインデータを得ることができる。特に全列の平均値ＡＶＥsvmを、垂直信号線ＶＬａｑ，ＶＬｂｑのいずれかを経由した全列の補正値取得データから求めることで、同じ中間電圧ＶＭが入力された場合のａ領域とｂ領域の信号差を、各列毎に同一に合わせることができる。

Ｓ５０７において、上述した読み出し駆動によって得られ、画像メモリ１２に一時記憶されているａ領域及びｂ領域それぞれの画像信号に対して、それぞれ対応する補正用の画素列毎のゲインデータで列毎にゲイン（除算）補正する。これにより、分割境界における特性差分が目立たないようにすることができる。

Ｓ５０８において、分割された画像を合成し、１枚の画像を生成する。Ｓ５０９において、画像処理部１３により、キズ補正、ホワイトバランス、階調変換、３面同時化、ノイズリダクション等の画像処理を行い、記録回路１６を介して所定の記録媒体１９に画像を記録する。

以上説明したように第１の実施形態では、垂直信号線の分割境界を含む画素のリセットトランジスタＲＥＳに中間電圧ＶＭをかけて、ゲイン性の縦筋を検出する補正値取得駆動を行う。そして、得られた補正値取得データを撮像装置のラインメモリ等で補正用の画素列毎のゲインデータに変換し、分割した垂直信号線からそれぞれ出力される各分割領域の画像信号に対してゲイン補正することで、垂直信号線の分割境界を目立たなくすることができる。

なお、複数の中間電圧ＶＭを印加して、異なる信号レベル毎にゲイン性の縦筋を検出してもよい。さらに、この中間電圧ＶＭのかけ方は、図３に示したタイミングに捉われることなく、次のようにしても良い。例えば時刻ｔ０からｔ１におけるリセット信号ＰＲＥＳによる転送ノードリセットを停止することを前提に、転送ノードの電圧を直接中間電圧ＶＭに変更する簡易的な方法を採用してもよい。この場合、中間電圧ＶＭに相当するＡＤ変換結果を得るために、時刻ｔ２からｔ３で行われる転送ノード基準レベルＮのＡＤ変換も併せて停止する必要がある。この簡易的な方法を採用する場合は、補正値取得データに、増幅回路Ａｍｐの列毎のオフセット差分や蓄積部Ｃａｐの容量ばらつきや読み出し制御用トランジスタＳＨの閾値ばらつきに起因するオフセット性の列間差が含まれてしまう。そのため、図５のＳ５０６にて一次元ダークシェーディングデータを減算したうえで平均値ＡＶＥsvmによる除算を行い、補正用の画素列毎のゲインデータを生成するとよい。

また、図１に示した撮像装置のラインメモリ１７や画像処理部１３の一部を撮像素子１１に含めてもよく、その場合、撮像素子１１から補正済のデジタル撮像信号を出力することができる。さらに、ラインメモリ１７や画像処理部１３の一部を、開口画素領域を含む基板と別個の基板に配置して、Ｔｈｒｕｇｈ Ｓｉｌｉｃｏｎ Ｖｉａ（以下、ＴＳＶ）などの電気的接続部を介して２つの基板を接続してもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、異なる複数の中間電圧ＶＭを、垂直信号線ＶＬａｑ，ＶＬｂｑの分割境界の画素のリセットトランジスタＲＥＳのゲートに複数与えて、異なる中間電圧ＶＭに相当して画素列毎のゲインデータを得る場合について説明する。

図６において、３つのグラフは、３つの異なる中間電圧（補正用信号）ＶＭ１，ＶＭ２，ＶＭ３（ＶＭ１＜ＶＭ２＜ＶＭ３）を印加したときに、ある列から得られた補正値取得データの一例を示すグラフである。このことから、信号毎に最適なゲインは、例えば図６中、鎖線に示すように非線型な対応関係から導かれるものと推測することができる。ゲイン補正を実行する際、いずれの中間電圧ＶＭより測定されたゲインを用いるかについて、第２の実施形態では実際に撮影された画像のうち、分割境界の画素の信号レベルに基づいて決定する。

図７は、第２の実施形態におけるゲイン補正適用処理の一例を示すフローチャートである。なお、図７に示す処理の開始前までに、第１の実施形態で説明した図５のＳ５０６までのフローを用いて、中間電圧ＶＭ１，ＶＭ２，ＶＭ３を印加して測定された、ａ領域及びｂ領域それぞれについて、画素列毎のゲインデータが求められているものとする。

まず、Ｓ７０１において、画像メモリ１２に一時記憶された画像より、ａ領域またはｂ領域の分割境界の第ｑ列目の画素の信号レベルを確認する。Ｓ７０２において当該信号レベルと中間電圧ＶＭ１に対応するデジタル信号レベルＳＶＭ１との差分の絶対値Ｄｉｆｆ１と、中間電圧ＶＭ２に対応するデジタル信号レベルＳＶＭ２との差分の絶対値Ｄｉｆｆ２とを比較する。差分Ｄｉｆｆ１が差分Ｄｉｆｆ２以下の場合（Ｓ７０２においてＮｏ）、Ｓ７０６に進み、第ｑ列目の補正値として中間電圧ＶＭ１を印加して測定したゲインを選択する。

一方、差分Ｄｉｆｆ２の方が小さい場合（Ｓ７０２においてＹｅｓ）、Ｓ７０３に進み、中間電圧ＶＭ３に対応するデジタル信号レベルＳＶＭ３との差分の絶対値Ｄｉｆｆ３と比較する。差分Ｄｉｆｆ２が差分Ｄｉｆｆ３以下の場合（Ｓ７０３においてＮｏ）、Ｓ７０５に進み、第ｑ列目のゲインデータとして中間電圧ＶＭ２を印加して得られたゲインデータを選択する。一方、差分Ｄｉｆｆ３の方が小さい場合（Ｓ７０３においてＹｅｓ）、Ｓ７０４に進み、第ｑ列目のゲインデータとして中間電圧ＶＭ３を印加して得られたゲインデータを選択する。Ｓ７０７において、Ｓ７０４からＳ７０６のいずれかで選択されたゲインデータを用いて、ａ領域及びｂ領域それぞれの分割境界の第ｑ列目の画素レベルに応じた第ｑ列目のゲインデータを生成することができる。

Ｓ７０８において、最終列に至るまではＳ７０９に進み、ｑを１インクリメントして、Ｓ７０１からＳ７０７を次の列に対して繰り返す。Ｓ７０８において最終列であった場合はこの処理を終了してＳ７１０に進み、第１の実施形態で説明した図５のＳ５０７からＳ５０９と同様にしてゲイン（除算）補正を実行し、分割画像の合成、画像処理・記録を行う。

上記の通り本第２の実施形態によれば、分割境界の画素のリセットトランジスタＲＥＳのゲートに複数の中間電圧ＶＭを印加し、異なる中間電圧ＶＭに相当する画素列毎のゲインデータを得る。そして、撮影画像の分割境界の画素レベルに最も近い中間電圧を印加して生成したゲインデータを適用することができるので、ゲイン性の縦筋に非線型な特性があっても高精度な補正を行うことができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態では、分割境界の画素に適用する各画素列毎の一次元的なゲインデータに捉われることなく、分割境界の画素に隣接する行以降の複数行にわたり必要なゲインを求めて適用する構成について説明する。

転送ノードの容量の逆数に比例して、信号電荷を電圧に変換する係数が決定するが、当該容量には垂直信号線とのカップリング容量が多く含まれている。一般的な撮像素子構成であれば、垂直信号線は少なくとも開口領域で途切れることはなく、カップリング容量を与える距離範囲内ですき間なく存在している。これに対し、本発明のように垂直信号線が分割されている場合、分割境界付近の画素では、垂直信号線からのカップリング容量が急激に小さくなったり、当該画素の信号を読み出さない側の垂直信号線からカップリング容量を与えられたりすることが考えられる。こうした複雑なカップリング容量は、分割境界の画素から離れるほど小さくなって、列回路や比較器のみに起因するゲインに収束して行く。そこで、分割境界の画素に隣接する行以降の複数行にわたって必要なゲインを求めるとよい。さらに、こうした寄生容量成分には温度変化が生じることも懸念されるので、本発明のように撮像データの読み出しに際して画素列毎のゲインデータを求める補正方法が好適である。

図８は、第３の実施形態における第ｐ行目までの補正データ取得とゲイン（除算）補正を行う処理フローの一例である。なお図８において、Ｓ５０１からＳ５０６までは、第１の実施形態における図５のＳ５０１からＳ５０６までと同様なので、同じステップ番号を付して説明を省略する。

分割境界の画素を使って画素列毎のゲインデータを生成した後、分割境界と隣接する画素も同様のゲインデータを生成していき、Ｓ８０７にてｐ行目と前行のゲインとの誤差の最大値が所定（ここでは１％）以内にあるかどうかを確認する。分割境界の画素については前行のゲインを１．０として同様に確認する。確認の結果所定の誤差に収まらない場合はＳ８０８に進み行数ｐをインクリメントして分割境界の画素からさらに離れた行において、ゲインデータを生成するための補正値取得駆動を行う。

Ｓ８０７にて誤差の最大値が所定以内に収まった場合は必要なゲインが収束したものとみなし、Ｓ８０９で補正処理を行う。Ｓ８０９では、Ｓ８１０で処理行が最終行であると判断されるまで、補正実行に対応して第ｐ行目のゲインデータを順次使用して、ゲイン（除算）補正を実行する。

Ｓ８１１及びＳ８１２では、第１の実施形態における図５のＳ５０８とＳ５０９と同様の処理により、分割画像の合成、及び画像処理・記録を行う。

上記の通り本第３の実施形態によれば、補正処理に対応して第ｐ行目のゲインデータを順次使用するため、転送ノードが分割された垂直信号線から与えられる複雑なカップリング容量変化に対応した補正が可能となる。

以上、好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず適用可能である。また、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記第１〜第３の実施形態においては、垂直信号線を上下２分割した場合について説明したが、上下方向に３分割以上した場合にも、本発明を適用することができる。

１１：撮像素子、１２：画像メモリ、１３：画像処理部、１４：システム制御部、１７：ラインメモリ、２０：開口画素領域、２１：画素、２２：タイミング発生回路（ＴＧ）、２３：垂直走査回路、２４ａ，２４ｂ：水平走査回路、ＰＤ：フォトダイオード、ＴＸ：転送トランジスタ、ＶＬａｑ，ＶＬｂｑ：垂直信号線、ＣＯＬａｑ，ＣＯＬｂｑ：列回路、ＡＤａｑ，ＡＤｂｑ：ＡＤ変換回路

Claims (11)

1. 行列状に配置された複数の画素からなる画素部と、
   前記画素部を列方向に分割した複数の領域から並行に読み出された信号に、並行に予め決められた処理を行って出力する複数の出力手段と、
   前記画素部の予め決められた行の各画素から、予め決められた電圧に対応する補正用信号を前記出力手段に読み出す第１の駆動と、前記画素部から画像信号を前記複数の出力手段に読み出す第２の駆動とを行うように制御する制御手段と、
   前記複数の領域の各領域について、前記複数の出力手段を介して出力された前記補正用信号の列間の差を補正するゲインデータを生成し、当該ゲインデータにより、前記複数の出力手段を介して出力された対応する前記複数の領域それぞれの前記画像信号を補正する補正手段と、を有し、
   前記予め決められた行は、前記各領域における分割境界の行を含む一部の行であることを特徴とする撮像装置。
2. 前記複数の画素はそれぞれ、光電変換素子と、該光電変換素子で発生した電荷が転送される転送ノードと、該転送ノードと電源の間に接続されたリセットトランジスタとを含み、
   前記制御手段は、前記第１の駆動において、前記リセットトランジスタのゲートに、前記リセットトランジスタを遮断する第１の電圧と該第１の電圧よりも大きい第２の電圧との中間の、予め決められた第３の電圧を印加した状態で、前記転送ノードの電圧に応じた前記補正用信号を前記複数の出力手段に読み出すことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第１の駆動において、さらに、前記第１の電圧と前記第２の電圧との間の、前記第３の電圧と異なる第４の電圧を印加して、前記補正用信号を前記出力手段に読み出し、
   前記補正手段は、各列毎に、前記予め決められた行の画素部から得られた前記画像信号と、前記第３の電圧に対応する補正用信号および前記第４の電圧に対応する補正用信号との差をそれぞれ求め、前記差が小さい補正用信号から生成された前記ゲインデータを選択することを特徴とする請求項２に記載の撮像装置。
4. 前記補正手段は、前記予め決められた行の内、前記複数の領域のいずれかに含まれる行の画素から読み出された前記補正用信号の平均値により、前記各領域の列毎の前記補正用信号をそれぞれ除することで、前記ゲインデータを生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１の駆動を複数回行って前記補正用信号を読み出し、
   前記補正手段は、前記複数回の前記第１の駆動で得られた複数の前記補正用信号から、前記複数の領域の各領域について、列毎に外れ値を除外して列毎に平均し、得られた平均値の内、前記複数の領域のいずれかに含まれる前記列毎の平均値を平均した平均値により、前記各領域の列毎の平均値をそれぞれ除することで、前記ゲインデータを生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記複数の領域の各領域について、前記画素部の予め決められた第１の行から前記補正用信号を読み出すように制御した後、前記分割境界から離れる方向にある第２の行から前記補正用信号を読み出すように制御し、
   前記補正手段は、前記複数の領域の各領域について、列毎に、前記第１の行および前記第２の行の補正用信号からそれぞれゲインデータを生成し、当該生成された前記第１の行のゲインデータの平均値と、前記第２の行のゲインデータの平均値との差が予め決められた値よりも大きい場合に、前記制御手段は、更に前記分割境界から離れる方向にある次の行の前記補正用信号を読み出すように制御することを特徴とする請求項５に記載の撮像装置。
7. 前記画素部は、各列に配置されると共に、前記分割境界で分割された複数の垂直信号線を含み、前記複数の領域から、前記分割された垂直信号線を介して、前記出力手段に並行に信号を読み出すことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記複数の領域それぞれについて、前記ゲインデータをそれぞれ記憶する記憶手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記画素部を遮光する遮光手段を更に有し、
   前記制御手段は、前記遮光手段により前記画素部を遮光している間に、前記第１の駆動を行うように制御することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 行列状に配置された複数の画素からなる画素部と、前記画素部を列方向に分割した複数の領域から並行に読み出された信号に、並行に予め決められた処理を行って出力する複数の出力手段とを有する撮像装置の制御方法であって、
    制御手段による駆動制御により、前記画素部の予め決められた行の各画素から、予め決められた電圧に対応する補正用信号を前記出力手段に読み出す工程と、
    補正手段が、前記複数の領域の各領域について、前記複数の出力手段を介して出力された前記補正用信号の列間の差を補正するゲインデータを生成する工程と、
    前記制御手段による駆動制御により、前記画素部から画像信号を前記複数の出力手段に読み出す工程と、
    前記補正手段が、前記生成されたゲインデータにより、前記複数の出力手段を介して出力された対応する前記複数の領域それぞれの前記画像信号を補正する工程と、を有し、
    前記予め決められた行は、前記各領域における分割境界の行を含む一部の行であることを特徴とする制御方法。
11. 前記複数の画素はそれぞれ、光電変換素子と、該光電変換素子で発生した電荷が転送される転送ノードと、該転送ノードと電源の間に接続されたリセットトランジスタとを含み、
    前記補正用信号を前記出力手段に読み出す工程において、前記リセットトランジスタのゲートに、前記リセットトランジスタを遮断する第１の電圧と該第１の電圧よりも大きい第２の電圧との中間の、予め決められた第３の電圧を印加した状態で、前記転送ノードの電圧に応じた前記補正用信号を前記複数の出力手段に読み出すことを特徴とする請求項１０に記載の制御方法。

Images