JP5312246B2

JP5312246B2 - 撮像装置及び制御方法

Info

Publication number: JP5312246B2
Application number: JP2009173000A
Authority: JP
Inventors: 照幸大門
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-07-24
Filing date: 2009-07-24
Publication date: 2013-10-09
Anticipated expiration: 2029-07-24
Also published as: JP2011029887A; US20110019036A1; US8441561B2

Description

本発明は、撮像素子により撮像した画像データの補正を行う撮像装置及び制御方法に関する。

従来、撮像装置において固体撮像素子（以下撮像素子）を用いて長時間露光を行う場合や、高感度での撮影を行う場合、或いは高温度下で撮影を行う場合などには、撮像素子において暗電流を生じることが良く知られている。

撮像素子で暗電流が生じる理由は、撮像素子が光エネルギを電気信号に変換するだけでなく、熱エネルギも電気信号に変換する性質を有することによるものである。暗電流は、温度依存性が高く、温度が８〜１０℃上昇するとその出力はおよそ２倍になることが知られている。撮像素子で生じた暗電流は画質に良くない影響を与えるため、暗電流の成分を小さくするよう、撮像素子の製造上数々の工夫がなされている。

また、撮像素子が撮像装置等に搭載された設置環境による撮像素子全体の温度上昇だけではなく、撮像素子の一部の消費電流が大きい場合（例えば出力段に設置されたアンプ等の消費電流が多い場合）には、次のような現象が起こることがある。撮像素子の部分的な温度上昇が発生し、その部分のみ暗電流が上昇して撮像素子の出力が大きくなることが見受けられる。例えば撮像装置により高感度撮影で長時間露光を行う場合（つまり夜景等を撮影した場合）に、撮像素子で撮像した画像の本来明かりの無い領域にマゼンタに近い色の明かりが見受けられたりする。

上記のように撮像素子の暗電流が大きくなると、暗電流に撮像素子の面内の分布ばらつきがある場合、撮像素子の面内の輝度や色バランスがおかしくなるといった、画質に大きな影響を与えるという問題があった。このような問題に対応するための処理としてノイズリダクション処理（いわゆるダーク画像減算処理）が知られている。ダーク画像減算処理は、撮影対象の本画像の撮影後に、本画像の撮影時と同じ条件で撮像素子を遮光した状態で画像を撮影し（ダーク画像）、本画像からダーク画像を減算することで暗電流の影響をキャンセルするための長秒時の（長い）露光を行う処理である。

しかしながら、ダーク画像減算処理には一般に次のような問題がある。
・正確に本画像撮影時の暗電流の影響をキャンセルするには、本画像撮影時と同じ条件でダーク画像を取得することが望ましい。そのため、長秒時の露光を行った場合には、更にそれと同じ時間のダーク画像取得時間を要するため、撮像装置の操作性が低下する。
・本画像からダーク画像の減算処理を行うことで、本画像及びダーク画像の持つランダムノイズが本画像の√２倍となってしまい、本質的に画質の低下が避けられない。

そのため、不要な撮影条件であれば、可能な限りダーク画像減算処理を行わないように、本画像撮影時の暗電流成分を検出し、検出した暗電流成分が所定以上の場合にダーク画像減算処理を行うような方法が提案されている。

他方、撮像素子の画素の異常の一種に白キズと呼ばれる種類のものが存在する。白キズは、暗電流が他の画素に比較して異常に多く、温度或いは露光時間といった要因により暗電流の出力が非常に大きなものとなり、画像となったときに白点として見えてしまう画素である。

白キズについては、撮像素子固体毎に白キズの発生するアドレスや白キズのレベルが異なるため、以下の処理を行うことで補正している。即ち、撮像素子の製造工程などで白キズの発生するアドレスを特定し、アドレスとキズレベルを検出して記憶し、撮影した画像から出力値の特異な画素を抽出することで白キズ画素を特定する、等の処理を行う。更に、白キズ画素を周囲画素から補間することで補正を行うようにしている。

白キズの補正については、細線を撮影した際に補正画素の補正痕が目立つという問題があることから、不必要な補正を行わないように暗電流の量に応じて白キズを補正するかどうかを判定するような提案もされている。

暗電流の検出方法としては以下の技術が提案されている（例えば、特許文献１参照）。特許文献１の提案では、撮像素子の画素領域内に光電変換素子構造を有しない黒基準画素領域（ｎｕｌｌ画素）と、光電変換素子構造を有するが遮光された黒基準画素領域（ＯＢ（オプティカルブラック）画素）を配置する。これにより、暗電流を含むＯＢ画素の出力値から不要な暗電流を含まないｎｕｌｌ画素の出力値を減算することが可能である。

また、後述の本発明に関連する技術としては以下の技術が提案されている（例えば、特許文献２参照）。特許文献２の提案では、撮像素子が光電変換素子の大きさが異なる少なくとも２つの領域（ＯＢ１、ＯＢ２）を有し、撮影条件や環境（温度）条件とＯＢパルスとの関係を予め撮像装置の制御回路或いはメモリに記憶することでＯＢパルスを選択する。これにより、有効画素部との出力段差を補正する。ただし、温度検出回路の障害等により撮像素子の温度が正確に検出できていない場合は、予め記憶したＯＢパルスで制御すると所望の結果を得られないという問題がある。

また、ＯＢ部及び模擬黒レベル画素部の双方から出力情報を取得し、取得した出力情報に基づき所定の画像処理（黒レベル調整）を行う技術が提案されている（例えば、特許文献３参照）。特許文献３では、双方からの出力情報を正確に測定できない場合の処理に関しての開示はない。また、温度に応じて処理内容を変更する記載はあるが、温度情報は外部温度センサから得ているので、外部温度センサが故障した場合は所望の処理ができなくなるといった問題がある。

ここで、撮像素子の概略について図１６を基に説明する。図１６において、（ａ）は、撮像素子の画素配置の例を示すものであり、撮像素子は、有効画素部１００１、ＯＢ画素部１００２、ｎｕｌｌ画素部１００３を備えている。（ｂ）は、暗電流が少ない時の（ａ）の点線部における画素出力を示すものであり、差分演算が可能（ＯＢ画素出力−ｎｕｌｌ画素出力：測定可能）である。（ｃ）は、暗電流が多い時の（ａ）の点線部における画素出力を示すものであり、差分演算が不可能（ＯＢ画素出力−ｎｕｌｌ画素出力：測定不能）である。

図１６の撮像素子を備えた撮像装置において、通常、撮影時には暗電流出力が被写体画像の演算ダイナミックレンジを圧迫しないようにするために、ＯＢ画素部１００２の出力が所定の出力範囲になるようにクランプを行っている。この場合、所定の出力範囲は、演算ダイナミックレンジのなかでも光出力方向とは逆方向で且つ演算ダイナミックレンジ内の範囲にするのが一般的である。また、撮像素子の暗電流出力方向と光出力方向は同一である。

特開２００７−１５８６２６号公報特開２００５−１７５９３０号公報特開２００７−２７８４５号公報

図１６の撮像素子において、高温下での撮影・高感度撮影・長時間の露光による撮影など暗電流が大きい場合は、ＯＢ画素部の出力は暗電流の量によらずクランプレベルに固定されているが、ＯＢ画素部の出力とｎｕｌｌ画素部の出力の差は大きくなる。（ｃ）の例ではｎｕｌｌ画素部の出力が演算ダイナミックレンジを超えるため、ＯＢ画素部の出力とｎｕｌｌ画素部の出力の差を正確に測定できない。また、暗電流が多くて正確な暗電流値を測定できない。このため、所望の暗電流条件でダーク画像減算処理や白キズ補正処理を行うことができないという問題があった。

本発明の目的は、適正な条件で画像処理を行うことを可能とし、撮像した画像の適正な画質を保つことを可能とした撮像装置及び制御方法を提供することにある。

上記目的を達成するために、本発明の撮像装置は、受光量に応じた信号電荷を生成する光電変換素子部と、遮光された光電変換素子構造を有する第１のオプティカルブラック部と、遮光された光電変換素子構造を有する第２のオプティカルブラック部とを備えた撮像素子と、前記第１のオプティカルブラック部の出力と前記第２のオプティカルブラック部の出力に基づき前記撮像素子の暗電流値を測定する測定手段とを具備し、前記第２のオプティカルブラック部の光電変換素子面積は、前記第１のオプティカルブラック部の光電変換素子面積よりも大きいことを特徴とする。

本発明によれば、撮像装置において画像処理（ダーク画像減算処理、白キズ補正処理）を行う際に、正確な暗電流量（暗電流値）を測定することが可能となるので、適正な条件で画像処理を行うことが可能となる。これにより、撮像素子により撮像した画像の適正な画質を保つことが可能となる。

本発明の第１の実施の形態に係る撮像素子を説明する図であり、（ａ）は、画素配置の例を示す図、（ｂ）は、（ａ）の点線部における画素出力を示す図である。撮像素子がｎｕｌｌ画素を有しない場合の画素配置の例を示す図である。図２の撮像素子の画素配置における画素信号の読み出しを説明する図である。撮像装置の撮像素子から出力される信号の処理を行う信号処理回路の構成を示すブロック図である。撮像装置の要部の構成を示すブロック図である。撮像装置において撮像素子から画素信号を読み出しながら画素行ごとに暗電流値を測定する処理を示すフローチャートである。第１の変形例に係る撮像素子の画素配置の例を示す図である。第２の変形例に係る撮像素子の画素配置の例を示す図である。本発明の第２の実施の形態に係る撮像素子の一般的な画素セルの構成を示す図である。撮像素子の画素を構成するトランジスタを共通に使用する構成とした場合の画素セルの構成を示す図である。撮像素子の画素配置の例を示す図である。撮像素子のＯＢ２画素部の画素構成を示す図である。撮像素子における水平方向２画素でＭＯＳトランジスタを共通に使用する構成とした場合の画素配置の例を示す図である。撮像素子における水平方向２画素及び垂直方向２画素でＭＯＳトランジスタを共通に使用する構成とした場合の画素配置の例を示す図である。本発明の第３の実施の形態に係る撮像素子の画素配置の例を示す図である。従来例に係る撮像素子を説明する図であり、（ａ）は、画素配置の例を示す図、（ｂ）は、暗電流が少ない時の（ａ）の点線部における画素出力を示す図、（ｃ）は、暗電流が多い時の（ａ）の点線部における画素出力を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る撮像素子を説明する図であり、（ａ）は、画素配置の例を示す図、（ｂ）は、（ａ）の点線部における画素出力を示す図である。

図１（ａ）において、撮像素子は、有効画素部１、第１の黒基準画素領域（以下ＯＢ１画素部）２、第２の黒基準画素領域（以下ＯＢ２画素部）３、黒基準画素領域（以下ｎｕｌｌ画素部）４を備えている。尚、本実施の形態では、図を簡略化するため、ＯＢ１画素部２とＯＢ２画素部３のみ、画素に相当する部分を正方形で示す。また、撮像素子全体を遮光していて且つ暗電流が多い状態であるとする。また、ＯＢ１画素部２の出力が所定のレベルになるようにクランプされているものとする。

有効画素部１（光電変換素子部）は、受光量に応じた信号電荷を生成する光電変換素子構造を有する遮光されていない画素領域である。ＯＢ１画素部２（第１のオプティカルブラック部）は、光電変換素子構造を有する遮光された領域である。ＯＢ２画素部３（第２のオプティカルブラック部）は、光電変換素子構造を有する遮光された領域であり、ＯＢ１画素部２とは画素サイズが異なる領域である。ｎｕｌｌ画素部４（模擬黒基準画素部）は、光電変換素子構造を有しない領域である。

有効画素部１の上側と左側には、有効画素部１の画素と同じサイズの画素を有すると共に遮光されたＯＢ１画素部２が配置されている。更に、ＯＢ１画素部２の左側には、ＯＢ１画素部２よりも画素サイズが１．５倍大きい画素を有すると共に遮光されたＯＢ２画素部３が配置されている。即ち、ＯＢ２画素部３の光電変換素子面積はＯＢ１画素部２の光電変換素子面積よりも大きく設定されている。更に、ＯＢ２画素部３の左側には、ｎｕｌｌ画素部４が配置されている。

図１（ｂ）において、ｎｕｌｌ画素部４は、暗電流が無いので出力レベルが低い。ＯＢ２画素部３は、画素サイズが大きいため暗電流が多く出力レベルは非常に高い（第２の出力特性）。ＯＢ１画素部２と有効画素部１は、画素サイズが同じであり且つＯＢ２画素部３より画素サイズが小さいため、ＯＢ１画素部２は、ＯＢ２画素部３よりも出力レベルは低い（第１の出力特性）。同様に、有効画素部１は、ＯＢ２画素部３よりも出力レベルは低い。ＯＢ１画素部２の出力は所定のレベルになるようにクランプしているので、ｎｕｌｌ画素部４の出力は演算ダイナミックレンジよりも低いレベルにある。

本実施の形態では撮像素子のＯＢ１画素部２の出力が黒基準となるように動作させる。撮像素子のＯＢ１画素部２における図示の左右方向矢印で示す領域は水平ＯＢクランプ領域である。尚、以下の説明では、適宜、「ＯＢ１画素部２の出力」を「ＯＢ１画素出力」、「ＯＢ２画素部３の出力」を「ＯＢ２画素出力」、「ｎｕｌｌ画素部４の出力」を「ｎｕｌｌ画素出力」と表記する。

図示のように、（イ）ＯＢ１画素出力−ｎｕｌｌ画素出力、或いは、（ロ）ＯＢ２画素出力−ｎｕｌｌ画素出力、を基に暗電流値の測定を行おうとしても測定不能である。本来、暗電流量（暗電流値）として測定したいのは、（イ）ＯＢ１画素出力−ｎｕｌｌ画素出力である。

ここで、ＯＢ１画素出力とｎｕｌｌ画素出力の差分、ＯＢ２画素出力とｎｕｌｌ画素出力の差分は、暗電流分のみである。また、暗電流は画素サイズに比例する。また、ＯＢ１画素部２の画素サイズとＯＢ２画素部３の画素サイズとの比率は１：１．５である。従って、画素出力状態は下記の式（１）で表される関係となる。（ハ）ＯＢ２画素出力−ＯＢ１画素出力を測定することで、（イ）ＯＢ１画素出力−ｎｕｌｌ画素出力を求めることが可能となる。

（ＯＢ１画素出力−ｎｕｌｌ画素出力）＝２×（ＯＢ２画素出力−ＯＢ１画素出力）・・・（１）
尚、図１では、撮像素子の画素として有効画素部、ＯＢ１画素部、ＯＢ２画素部、ｎｕｌｌ画素部を配置した場合を例に挙げているが、これに限定されるものではない。上記の式（１）に基づき（イ）ＯＢ１画素出力−ｎｕｌｌ画素出力を求めることが可能であるため、必ずしもｎｕｌｌ画素が必要ではない。

図２は、撮像素子がｎｕｌｌ画素を有しない場合の画素配置の例を示す図である。

図２において、撮像素子は、有効画素部１、ＯＢ１画素部２、ＯＢ２画素部３を備えている。有効画素部１の上側と左側には、有効画素部１の画素と同じサイズの画素を有すると共に遮光されたＯＢ１画素部２が配置されている。更に、ＯＢ１画素部２の左側には、ＯＢ１画素部２よりも画素サイズが１．５倍大きい画素を有すると共に遮光されたＯＢ２画素部３が配置されている。即ち、図２の撮像素子はｎｕｌｌ画素を有しない以外は、図１の撮像素子と同様である。

図３は、図２の撮像素子の画素配置における画素信号の読み出しを説明する図である。

図３において、撮像素子の画素信号は図示の左上の画素から矢印方向に順番に読み出され、ＯＢクランプパルスにより有効画素部１の左側のＯＢ１画素出力が所定のレベルになるようにクランプが行われるものとする。また、有効画素部１の上側のＯＢ１画素とＯＢ２画素をＶＯＢ（バーティカルオプティカルブラック）領域とし、クランプ動作に使用され、ＶＯＢ領域より下のＯＢ１画素とＯＢ２画素を暗電流測定領域とする。後述するが、暗電流測定領域のＯＢ２画素出力とＯＢ１画素出力の差分を求めることで暗電流値を測定し、暗電流量に応じて画像に対する画像処理（白キズ補正処理、ダーク画像減算処理）を行うかどうかを決定する。

図４は、撮像装置の撮像素子から出力される信号の処理を行う信号処理回路の構成を示すブロック図である。

図４において、信号処理回路は、プログラマブルゲインアンプ（ＰＧＡ）１０１、ＯＢクランプブロック１０２、デジタルアナログ変換器（ＤＡＣ）１０３、アナログデジタル変換器（ＡＤＣ）１０４、目標レベル設定部１０５から構成されている。撮像装置における信号処理回路を含む要部の構成は図５により後述する。

上記各部の機能とＯＢクランプ動作について説明すると、ＰＧＡ１０１は、撮像素子から出力された画素信号（センサ信号）を増幅し、ＡＤＣ１０４に出力する。ＡＤＣ１０４は、ＰＧＡ１０１の出力信号（増幅されたセンサ信号）をアナログ形式からデジタル形式に変換し、ＯＢクランプブロック１０２と後述のＤＳＰ（図５）に出力する。目標レベル設定部１０５は、クランプ目標値をＯＢクランプブロック１０２に入力する。この場合、クランプ目標値は任意に設定することができる。

ＯＢクランプブロック１０２は、目標レベル設定部１０５から入力されたクランプ目標値と、ＡＤＣ１０４から入力された出力信号との差分がゼロになる方向に基準信号を生成する。即ち、撮像素子のＯＢ１画素部２の出力信号が、前記差分に対して所定のゲイン（高速クランプの場合１／４〜１／２倍、低速クランプの場合１／６４〜１／３２倍）を掛けた値だけクランプ目標値に近づくような基準信号を生成する。この動作は、クランプ信号供給部（不図示）からクランプ信号がＯＢクランプブロック１０２に入力されている間行われる。

ＯＢクランプブロック１０２は、デジタル形式の基準信号をＤＡＣ１０３に出力する。ＤＡＣ１０３は、ＯＢクランプブロック１０２で生成された基準信号をデジタル形式からアナログ形式に変換し、変換後の基準信号をＰＧＡ１０１に出力する。これにより、撮像素子からＰＧＡ１０１に入力されるセンサ信号の基準電圧が決定する。

上述したように、図３の画素配置を有する撮像素子から出力されるセンサ信号が、図４の構成を有する信号処理回路によりＯＢクランプされる。この場合、撮像素子で生じる暗電流が大きくてもＯＢ画素が高速に所定のレベルに収束するように、撮像素子のＶＯＢ領域では高速クランプ動作が行われ、ＶＯＢ領域での高速クランプ動作の終了後に低速クランプ動作にする。これにより、適切なＯＢクランプが可能となる。

図５は、本実施の形態に係る撮像装置の要部の構成を示すブロック図である。

図５において、撮像装置は、デジタルカメラとして構成されている。撮像装置は、撮像素子５０１、信号処理回路５０２、ＤＳＰ（Digital Signal Processor）５０３、タイミング発生回路（ＴＧ：Timing Generator）５０４、ＣＰＵ５０５、ＲＯＭ５０６、ＲＡＭ５０７を備えている。更に、撮像装置は、電源スイッチ５０９、第１シャッタスイッチ（ＳＷ１）５１０、第２シャッタスイッチ（ＳＷ２）５１１、モードダイアルスイッチ５１２、測距回路５１３、測光回路５１４、表示部５１５を備えている。

撮像素子５０１は、具体的にはＣＣＤセンサまたはＣＭＯＳセンサから構成されており、撮影対象の被写体の光学像を画素信号（センサ信号）に光電変換する。信号処理回路５０２は、上述したように撮像素子５０１から出力されるセンサ信号を増幅しＯＢクランプ等を行う回路であり、タイミング発生回路５０４からＯＢクランプタイミングやＯＢクランプ目標レベル等を受け取り、それに従って動作する。

ＤＳＰ５０３は、信号処理回路５０２から出力されるデータに対して各種補正処理（撮像素子の読み出し回路に起因する水平シェーディングを補正するための一次元補正値を予め記憶し、信号から減算する処理）等を行う。また、ＤＳＰ５０３は、各種メモリ（ＲＯＭ５０６、ＲＡＭ５０７）の制御、記録媒体５０８に対する画像データ（映像データ）の書き込み処理を行う。タイミング発生回路５０４は、撮像素子５０１、信号処理回路５０２、ＤＳＰ５０３にクロック信号や制御信号を供給する回路であり、ＣＰＵ５０５により制御される。図３のＯＢクランプパルスはＴＧ５０４から信号処理回路５０２に対して出力される。

ＣＰＵ５０５は、ＤＳＰ５０３及びＴＧ５０４の制御、測距回路５１３及び測光回路５１４等を用いた撮像装置（カメラ）機能の制御を行う。また、ＣＰＵ５０５は、電源スイッチ５０９、第１シャッタスイッチ（ＳＷ１）５１０、第２シャッタスイッチ（ＳＷ２）５１１、モードダイアルスイッチ５１２が接続されており、各スイッチの状態に応じた処理を実行する。また、ＣＰＵ５０５は、制御プログラムに基づき図６のフローチャートに示す処理（撮像素子の暗電流量の測定、白キズ補正処理の実施の有無の判定等）を実行する。

ＲＯＭ５０６は、撮像装置の制御プログラムや補正テーブル等を記憶する。ＲＡＭ５０７は、ＤＳＰ５０３で処理される画像データや補正データを一時的に記憶するものであり、ＲＯＭ５０６より高速のアクセスが可能である。記録媒体５０８は、撮像装置で撮影された画像データを保存するものであり（例えばコンパクトフラッシュ(登録商標)カード（以下ＣＦ））、不図示のコネクタを介して撮像装置に接続される。

電源スイッチ５０９は、撮像装置を起動させる際に操作する。第１シャッタスイッチ（ＳＷ１）５１０は、測光処理、測距処理、被写体映像をリアルタイムに外部に表示する所謂ＥＶＦ動作等の撮影準備動作の開始を指示する際に操作する。第２シャッタスイッチ（ＳＷ２）５１１は、不図示のミラー及びシャッタを駆動し、撮像素子５０１から読み出した画素信号を信号処理回路５０２とＤＳＰ５０３を介して記録媒体５０８に書き込む一連の撮像動作の開始を指示する際に操作する。

モードダイアルスイッチ５１２は、撮像装置の撮影モード（例えば連続撮影モード、単写モード、ストロボ発光モード等）を指示する際に操作する。測距回路５１３は、撮影対象の被写体までの距離を測定する。測光回路５１４は、被写体の輝度を測定する。表示部５１５は、撮像装置により撮像した画像データ（映像データ）を表示する。

次に、上記の構成を備える本実施の形態の撮像装置における暗電流値の測定と画像処理について説明する。

図６は、撮像装置において撮像素子から画素信号を読み出しながら画素行ごとに暗電流値を測定する処理を示すフローチャートである。

図６において、撮像装置のＣＰＵ５０５は、撮像素子５０１の各画素からの画素信号の読み出しを開始した後（ステップＳ６０１）、ＶＯＢ領域（図３参照）の画素信号を読み出し、ＯＢ１画素領域の出力で高速クランプを行う（ステップＳ６０２）。次に、ＣＰＵ５０５は、撮像素子５０１から現在読み出している画素行が暗電流測定領域（図３参照）に達したかどうかを判定する（ステップＳ６０３）。撮像素子５０１から現在読み出している画素行がまだＶＯＢ領域である場合は、ステップ６０２に戻り、ＣＰＵ５０５は、ＶＯＢ領域の高速クランプを行う。

撮像素子５０１から現在読み出している画素行が暗電流測定領域に達した場合は、ＣＰＵ５０５は、読み出した画素行をカウントする読み出し画素行カウンタｎをｎ＝１とすることでリセットする（ステップＳ６０４）。次に、ＣＰＵ５０５は、ｎ行目のＯＢ２画素領域を読み出しながらその平均化処理を同時に行い、平均化処理した値をＯＢ２ｎ（ＯＢ２画素出力）とする（ステップＳ６０５）。更に、ＣＰＵ５０５は、ｎ行目のＯＢ１画素領域を読み出しながらその平均化処理を同時に行い、平均化処理した値をＯＢ１ｎ（ＯＢ１画素出力）とする（ステップＳ６０６）。

次に、ＣＰＵ５０５は、ＯＢ２ｎとＯＢ１ｎの差であるＯＢ２ｎ−ＯＢ１ｎを上記式（１）に代入してｎ行目の暗電流値（暗電流値ａ）とし、求めたｎ行目の暗電流値ａが予め定めた設定レベルを超えているかどうかを判定する（ステップＳ６０７）。暗電流値ａが設定レベルを超えている場合は、ＣＰＵ５０５は、暗電流が多いので白キズも多いため補正を実施したほうがよいと判断し、撮像素子５０１のｎ行目の有効画素部の白キズ補正処理を行い（ステップＳ６０８）、ステップＳ６０９に移行する。暗電流値ａが設定レベルを超えていない場合は、ＣＰＵ５０５は、暗電流が少ないので白キズも少ないと判断し、ｎ行目の有効画素部の白キズ補正処理を行わず、ステップ６０９に移行する。

次に、ＣＰＵ５０５は、ステップＳ６０４でリセットした読み出し画素行カウンタｎを１つインクリメントする（ｎ＋１）（ステップＳ６０９）。次に、ＣＰＵ５０５は、読み出し画素行カウンタｎのカウント値を判定することで、撮像素子５０１の全ての画素行の読み出しが終了したかどうかを判断する（ステップＳ６１０）。全ての画素行の読み出しが終了していない場合は、ステップ６０５へ戻り、ＣＰＵ５０５は、全ての画素行の読み出しが終了するまでステップＳ６０５〜ステップＳ６１０の処理を繰り返す。このように画素行ごとに暗電流値を測定して白キズを補正するかどうかを判定し、全ての画素行の読み出しが終了した場合は、本処理を終了する。

上述したように、撮像素子から画素信号を読み出しながら画素行ごとに暗電流値を測定する処理を行うことで、暗電流量が多くて暗電流値が測定できないという従来の問題を解決することができる。これにより、白キズ補正処理を行う必要があるかどうかの判定を的確に行うことが可能となる。

ダーク画像減算処理（撮像素子で撮像した本画像からダーク画像を減算することで暗電流の影響を除くための処理）と、白キズ補正処理（撮像素子で撮像した画像に生じた白点を補正する処理）を行うかどうかを以下のように決定してもよい。尚、ダーク画像は本画像撮像時と同じ条件で撮像素子を遮光して撮像した画像である。

まず、撮像素子５０１の全画素を読み出した後、ＲＡＭ５０７に保存された画像データのうち暗電流測定領域のＯＢ２画素領域とＯＢ１画素領域の平均値を算出し、それぞれＯＢ２、ＯＢ１として上記式（１）に代入して得た結果を画像の暗電流量として求める。求めた画像の暗電流量に応じてダーク画像減算処理（ノイズリダクション処理）を行うかどうかを判定する。即ち、暗電流量が設定レベルを超えている場合は、得られた画像のダーク画像減算処理を行い、暗電流量が設定レベルを超えていない場合は、得られた画像のダーク画像減算処理を行わない。

同様に、白キズ補正処理についても、ＲＡＭ５０７に保存された画像データを基に白キズ補正処理を行うかどうかを決定するようにしてもよい。

暗電流量の測定は以下のように容易に行うことができる。撮像素子のＯＢ１画素をクランプする場合、ＯＢ２画素のサイズをＯＢ１画素のサイズよりも小さくしてしまうと、暗電流が更に大きくなったときはｎｕｌｌ画素と同様にＯＢ２画素出力が演算ダイナミックレンジを超えてしまう。つまり、図３に示すように、クランプに使用しないＯＢ画素（図３の例ではＯＢ２画素）は、クランプに使用するＯＢ画素（図３の例ではＯＢ１画素）よりもサイズを大きくすることで、ＯＢ１画素よりもＯＢ２画素の出力を大きくすることができる。これにより、暗電流量の測定を容易に行うことができる。

尚、本実施の形態では、暗電流量に応じて白キズ補正処理を行うかどうかのみを判定しているが、これに限定されるものではない。白キズには、出力の比較的大きなものから比較的小さなものまで多くの種類が存在する。予め白キズの出力レベルや画像上の白キズのアドレスを記憶しておき、暗電流量が小さい時は比較的大きな出力を示す白キズを補正し、暗電流量が大きい時は比較的大きな出力を示す白キズに加え、比較的小さな出力を示す白キズまで補正するようにしてもよい。

次に、本実施の形態の第１の変形例及び第２の変形例について説明する。

図７は、第１の変形例に係る撮像素子の画素配置の例を示す図である。

図７において、撮像素子は、有効画素部１１、ＯＢ１画素部１２、ＯＢ２画素部１３を備えている。有効画素部１１の左側と上側には、遮光されたＯＢ１画素部１２が配置されている。有効画素部１１の右側には、ＯＢ１画素部１２よりも画素サイズが大きい遮光されたＯＢ２画素部１３が配置されている。この場合も、水平ＯＢクランプはＯＢ１画素で行い、暗電流量の測定のためにＯＢ２画素を使用する。

図８は、第２の変形例に係る撮像素子の画素配置の例を示す図である。

図８において、撮像素子は、有効画素部２１、ＯＢ１画素部２２、ＯＢ２画素部２３を備えている。有効画素部２１の左側には、ＯＢ１画素部２２とＯＢ２画素部２３が１行ごとに交互に配置されている。有効画素部２１の右側には、ＯＢ１画素部２２とＯＢ２画素部２３が１行ごとに交互に配置されている。即ち、行ごとに左右のＯＢ画素のサイズを異ならせている。第１の変形例と同様に、水平ＯＢクランプはＯＢ１画素で行い、暗電流量の測定のためにＯＢ２画素を使用する。

以上詳細に説明したように、本実施の形態によれば、撮像装置においてダーク画像減算処理や白キズ補正処理を行う際に、正確な暗電流量を測定することが可能となるので、適正な暗電流条件でダーク画像減算処理や白キズ補正処理を行うことが可能となる。これにより、撮像素子により撮像した画像の適正な画質を保つことが可能となる。

〔第２の実施の形態〕
本発明の第２の実施の形態は、上記第１の実施の形態に対して、以下で説明する点において相違する。本実施の形態のその他の要素は、上記第１の実施の形態の対応するものと同一なので説明を省略する。

図９は、本実施の形態に係るＣＭＯＳ型の撮像素子の一般的な画素セルＰｉｘｅｌの構成を示す図である。

図９において、撮像素子を構成するＯＢ２画素部（第２のオプティカルブラック部）は、１つの光電変換素子（７０１）からの出力を１つのフローティングデフュージョン（接続ポイント）７１０に転送し読み出される構成を有する。以下、詳細を説明する。

フォトダイオード（ＰＤ）７０１は、光信号電荷を発生するダイオードであり、アノード側が接地されている。フォトダイオード（ＰＤ）７０１のカソード側は、転送ＭＯＳトランジスタ（Ｔｘ）７０２を介して増幅ＭＯＳトランジスタ（Ｔｓｆ）７０４のゲートに接続されている。

また、増幅ＭＯＳトランジスタ（Ｔｓｆ）７０４のゲートには、該トランジスタをリセットするためのリセットＭＯＳトランジスタ（Ｔｒｅｓ）７０３のソースが接続されている。リセットＭＯＳトランジスタ（Ｔｒｅｓ）７０３のドレインは、電源電圧ＶＤＤに接続されている。

更に、増幅ＭＯＳトランジスタ（Ｔｓｆ）７０４は、ドレインが電源電圧ＶＤＤに接続され、ソースが選択ＭＯＳトランジスタ（Ｔｓｅｌ）７０５のドレインに接続されている。また、選択ＭＯＳトランジスタ（Ｔｓｅｌ）７０５のソースは、同一列で共通な垂直出力線（Ｖｌｉｎｅ）７０６に接続されている。これにより、撮像素子の画素が出力される。

他方、近年では撮像素子の画素を増加させる多画素化に伴い、撮像素子の画素を構成するトランジスタを共通に使用する構成のものも出現してきている。この構成を図１０に示す。図１０は、撮像素子の画素を構成するトランジスタを共通に使用する構成とした場合の画素セルの構成を示す図である。本実施の形態では、撮像素子を構成するＯＢ１画素部（第１のオプティカルブラック部）に図１０に示す画素セルを配置する。即ち、隣接して配置される複数の光電変換素子（７０１、８０１）からの出力をスイッチ手段（７０２、８０２）により１つのフローティングデフュージョン８１０に転送し読み出される構成を有する。以下、詳細を説明する。

フォトダイオード（ＰＤ（ｎ））７０１は、撮像素子のｎ行目の画素として配置される。転送ＭＯＳトランジスタ（Ｔｘ（ｎ））７０２は、ｎ行目である。リセットＭＯＳトランジスタ（Ｔｒｅｓ）７０３〜選択ＭＯＳトランジスタ（Ｔｓｅｌ）７０５までは図９と同様であるので説明を省略する。

フォトダイオード（ＰＤ（ｎ＋１））８０１は、ｎ＋１行目の画素として配置される、転送ＭＯＳトランジスタ（Ｔｘ（ｎ＋１））８０２は、ｎ＋１行目である。つまり、撮像素子は、光信号電荷を発生するフォトダイオード（ＰＤ）と転送ＭＯＳトランジスタ（Ｔｘ）は独立に有しているが、その他の構成（ＭＯＳトランジスタ）を共通化させている。これにより、フォトダイオードの面積の低下を抑制しつつ多画素化を実現している。

ところで、フォトダイオードの面積の低下を抑制しつつ多画素化を実現するために、クランプに使用するＯＢ１画素部と有効画素部は図１０のような構成にする必要があるが、暗電流値の測定を目的とするＯＢ２画素部はこのようにする必要は無い。つまり、暗電流量は隣接する行間ではあまり変わらないことが想像されるので、１つのフォトダイオードを２行分の面積になるようにＯＢ２画素部を構成することを考える。この構成を図１１に示す。

図１１は、撮像素子の画素配置の例を示す図である。

図１１において、撮像素子は、有効画素部３１、ＯＢ１画素部３２、ＯＢ２画素部３３を備えている。有効画素部３１の左側と上側には、ＯＢ１画素部３２が配置されている。ＯＢ１画素部３２の左側には、ＯＢ２画素部３３が配置されている。ＯＢ１画素部３２と有効画素部３１は、垂直方向の２画素でＭＯＳトランジスタを共通に使用している。また、ＯＢ２画素部３３の画素サイズは、ＯＢ１画素部３２の画素サイズの２倍の画素サイズを有している。

例えば、ｎ行目の暗電流を
ＯＢ２（ｎ、ｎ＋１）画素出力−ＯＢ１（ｎ）画素出力
から求め、ｎ＋１行目の暗電流を
ＯＢ２（ｎ、ｎ＋１）画素出力−ＯＢ１（ｎ＋１）画素出力
から求めるようにしてもよい。

撮像素子の画素構成を更に詳細に説明する。撮像素子のＯＢ１画素部と有効画素部の画素構成は図１０のようになっているが、撮像素子のＯＢ２画素部の画素構成は図１２のようになっている。

図１２は、撮像素子のＯＢ２画素部の画素構成を示す図である。

図１２において、図１０と異なる点は、ｎ行目とｎ＋１行目は共通のフォトダイオード（ＰＤ（ｎ、ｎ＋１））９０１と共通の転送ＭＯＳトランジスタ（Ｔｘ（ｎ、ｎ＋１））９０２で構成される点である。つまり、ＯＢ１画素部及び有効画素部は図１０のように構成され、ＯＢ２画素部は図１２のように構成されている。尚、図１２で図１０と同じ構成には同じ符号を付し説明を省略する。

撮像素子の多画素化に伴い、上記第１の実施の形態で説明したようにＯＢ２画素部の画素サイズ＞ＯＢ１画素部の画素サイズ、とする構成が難しくなっている。しかし、このような構成にすることで容易に、ＯＢ２画素部の画素サイズ＞ＯＢ１画素部の画素サイズ、にすることができる。

図１１に示した例では垂直方向の２画素でＭＯＳトランジスタを共通に使用する構成としているが、これに限定されるものではない。構成上可能ならば水平方向の２画素でＭＯＳトランジスタを共通に使用する構成としてもよい。この構成を図１３に示す。

図１３は、撮像素子における水平方向２画素でＭＯＳトランジスタを共通に使用する構成とした場合の画素配置の例を示す図である。

図１３において、撮像素子は、有効画素部４１、ＯＢ１画素部４２、ＯＢ２画素部４３を備えている。有効画素部４１の左側と上側には、ＯＢ１画素部４２が配置されている。ＯＢ１画素部４２の左側には、ＯＢ２画素部４３が配置されている。この場合の暗電流量の測定方法は容易に想像できるが、簡単には、ＯＢ２（ｎ）画素出力−ＯＢ１（ｎ）画素出力、から求めることができる。

更に発展形として、垂直２画素、水平２画素でＭＯＳトランジスタを共通に使用する構成とすることも可能である。この構成を図１４に示す。

図１４は、撮像素子における水平方向２画素及び垂直方向２画素でＭＯＳトランジスタを共通に使用する構成とした場合の画素配置の例を示す図である。

図１４において、撮像素子は、有効画素部５１、ＯＢ１画素部５２、ＯＢ２画素部５３を備えている。有効画素部５１の左側と上側には、ＯＢ１画素部５２が配置されている。ＯＢ１画素部５２の左側には、ＯＢ２画素部５３が配置されている。本構成により、ＯＢ２画素出力−ＯＢ１画素出力を、つまり出力差を大きくすることができるため、より精度のよい暗電流量の測定が可能となる。

〔第３の実施の形態〕
本発明の第３の実施の形態は、上記第１の実施の形態に対して、以下で説明する点において相違する。本実施の形態のその他の要素は、上記第１の実施の形態の対応するものと同一なので説明を省略する。

上記第１及び第２の実施の形態では、暗電流量の測定をＯＢ１画素出力とＯＢ２画素出力から求める場合について説明した。元々、ＯＢ１画素とＯＢ２画素は画素サイズを異ならせただけの画素であるため、ＯＢ１画素出力とＯＢ２画素出力の差分を測定することで暗電流量を測定する場合、暗電流の絶対値が小さい時は精度が若干不足することは容易に想像できる。そこで、より精度のよい暗電流量の測定を可能にするために図１５のような構成を考える。

図１５は、本実施の形態に係る撮像素子の画素配置の例を示す図である。

図１５において、撮像素子は、有効画素部６１、ＯＢ１画素部６２、ＯＢ２画素部６３、ｎｕｌｌ画素部６４を備えている。図１５で図３と異なる点は、ＯＢ２画素部６３の左側にＮｕｌｌ画素部６４を配置している点である。本構成により、暗電流量が比較的少ない時は、ｎｕｌｌ画素出力−ＯＢ１画素出力、から暗電流量を求めることができ、暗電流量が比較的多い時は、ＯＢ２画素出力−ＯＢ１画素出力、から暗電流量を求めることができる。

即ち、図１６で説明したように、暗電流量が少ない時はｎｕｌｌ画素の出力が演算ダイナミックレンジ内にあるため、ｎｕｌｌ画素出力−ＯＢ１画素出力が測定できるが、暗電流量が多い時はｎｕｌｌ画素の出力が演算ダイナミックレンジを超えてしまう。そのため、ＯＢ２画素出力−ＯＢ１画素出力により暗電流量を測定するようにするものである。

具体的な動作は、ｎｕｌｌ画素出力のＡＤ変換結果が所定出力よりも高い場合は、ｎｕｌｌ画素出力が演算ダイナミックレンジ内にあるものとして、ｎｕｌｌ画素出力とＯＢ１画素出力から暗電流量を測定する。ｎｕｌｌ画素出力のＡＤ変換結果が所定出力よりも低い場合は、ｎｕｌｌ画素出力が演算ダイナミックレンジを越えていて測定値が信頼できない可能性があるので、ＯＢ２画素出力とＯＢ１画素出力から暗電流量を測定する。これにより、より精度のよい暗電流値の測定が可能となり、その後の補正動作を的確に行うことが可能となる。

１、１１、２１、３１、４１、５１、６１有効画素部
２、１２、２２、３２、４２、５２、６２ＯＢ１画素部
３、１３、２３、３３、４３、５３、６３ＯＢ２画素部
４、６４ｎｕｌｌ画素部
５０１撮像素子
５０５ＣＰＵ

Claims

受光量に応じた信号電荷を生成する光電変換素子部と、遮光された光電変換素子構造を有する第１のオプティカルブラック部と、遮光された光電変換素子構造を有する第２のオプティカルブラック部とを備えた撮像素子と、
前記第１のオプティカルブラック部の出力と前記第２のオプティカルブラック部の出力に基づき前記撮像素子の暗電流値を測定する測定手段とを具備し、
前記第２のオプティカルブラック部の光電変換素子面積は、前記第１のオプティカルブラック部の光電変換素子面積よりも大きいことを特徴とする撮像装置。
前記測定手段により測定された暗電流値に応じて画像処理を実施するか否かを判定する判定手段を具備することを特徴とする請求項１記載の撮像装置。
前記画像処理には、前記撮像素子により撮像した画像に生じた白点を補正する白キズ補正処理、前記撮像素子により撮像した画像から前記撮像素子を遮光した条件で撮像したダーク画像を減算するダーク画像減算処理の少なくともいずれかが含まれることを特徴とする請求項２記載の撮像装置。
前記測定手段は、前記第１のオプティカルブラック部の出力と前記第２のオプティカルブラック部の出力の差分を求めることで前記撮像素子の暗電流値を測定することを特徴とする請求項１記載の撮像装置。
前記撮像素子は、光電変換素子構造を有しない模擬黒基準画素部を更に備え、
前記測定手段は、前記第１のオプティカルブラック部の出力と前記模擬黒基準画素部の出力の差分、或いは、前記第２のオプティカルブラック部の出力と前記模擬黒基準画素部の出力の差分を求めることで前記撮像素子の暗電流値を測定することを特徴とする請求項１記載の撮像装置。
前記撮像素子の前記第１のオプティカルブラック部の画素出力が黒基準となるように動作させることを特徴とする請求項１記載の撮像装置。
前記撮像素子の前記第１のオプティカルブラック部は、隣接して配置される複数の光電変換素子からの出力をスイッチ手段によりフローティングデフュージョンに転送し読み出される構成を有し、
前記撮像素子の前記第２のオプティカルブラック部は、光電変換素子からの出力をフローティングデフュージョンに転送し読み出される構成を有することを特徴とする請求項１記載の撮像装置。
受光量に応じた信号電荷を生成する光電変換素子部と、遮光された光電変換素子構造を有する第１のオプティカルブラック部と、遮光された光電変換素子構造を有する第２のオプティカルブラック部とを備えた撮像素子により撮像を行う撮像装置の制御方法であって、
前記第１のオプティカルブラック部の出力と前記第２のオプティカルブラック部の出力に基づき前記撮像素子の暗電流値を測定する測定工程とを有し、
前記第２のオプティカルブラック部の光電変換素子面積は、前記第１のオプティカルブラック部の光電変換素子面積よりも大きいことを特徴とする制御方法。