JP6090696B2 - クランプ処理方法 - Google Patents

Description

本開示は、撮像素子及びその撮像素子を用いた撮像装置における画像信号のクランプ処理方法に関するものである。

特許文献１は、暗電流が非常に大きくても画像の垂直方向のシェーディングを抑えることができるクランプ処理方法を開示する。

特開２０１０−１４７６３８号公報

本開示は、ランダムノイズの影響を低減することができ、また撮像素子の蓄積時間が変化する場合にも画像信号の黒信号レベルの変動を抑制することができるクランプ処理方法を提供する。

本開示に係る第１のクランプ処理方法は、被写体を撮像して得られる有効画素信号を出力する有効画素領域と、有効画素信号が出力されるのに先立って出力される遮光画素信号を出力する第１の遮光画素領域とを有する、光電変換素子を２次元的に配置した撮像素子を用いて連続したフレームの画像信号を出力する場合のクランプ処理方法である。しかも、現在のフレームであるフレーム（ｎ）の第１の遮光画素領域の遮光画素を含む第１の基準値算出領域の第１の基準値算出画素信号を加算平均して算出する第１の加算平均値Ａ（ｎ）に第１の安定化処理を施して得られる第１の基準値ＲＡ（ｎ）を、現在のフレームであるフレーム（ｎ）の有効画素信号から減算して所定の目標値を加算することにより有効画素信号の光学的黒信号レベルを決定する第１のクランプ処理を行う。

本開示に係る第２のクランプ処理方法は、上記第１のクランプ処理方法において、有効画素信号が出力された後に出力される遮光画素信号を出力する第２の遮光画素領域を撮像素子が更に有する場合のクランプ処理方法である。しかも、現在のフレームであるフレーム（ｎ）の画像信号の光学的黒信号レベルに変化がない定常状態である場合には、少なくとも第２の遮光画素領域の遮光画素を含む第２の基準値算出領域の第２の基準値算出画素信号を加算平均して算出する第２の加算平均値Ｂ（ｎ）に第２の安定化処理を施して得られる第２の基準値ＲＢ（ｎ）を、１フレーム後のフレーム（ｎ＋１）の有効画素信号から減算して所定の目標値を加算することにより有効画素信号の光学的黒信号レベルを決定する第２のクランプ処理を行う。現在のフレームであるフレーム（ｎ）の画像信号の光学的黒信号レベルが変化する遷移状態である場合には、前述の第１のクランプ処理を行う。

本開示に係る第３のクランプ処理方法は、被写体を撮像して得られる有効画素信号を出力する有効画素領域と、有効画素信号が出力された後に出力される遮光画素信号を出力する第２の遮光画素領域とを有する、又は、有効画素信号が出力されるのに先立って出力される遮光画素信号を出力する第１の遮光画素領域を更に有する、光電変換素子を２次元的に配置した撮像素子を用いて連続したフレームの画像信号を出力する場合のクランプ処理方法である。しかも、１フレーム前のフレーム（ｎ−１）で算出した、少なくとも第２の遮光画素領域の遮光画素を含む第２の基準値算出領域の第２の基準値算出画素信号を加算平均して算出する第２の加算平均値Ｂ（ｎ−１）に第２の安定化処理を施して得られる第２の基準値ＲＢ（ｎ−１）を、現在のフレームであるフレーム（ｎ）の画像信号全体から減算して所定の目標値を加算することにより画像信号の光学的黒信号レベルを決定する第３のクランプ処理を行い、現在のフレームであるフレーム（ｎ）の第３のクランプ処理後の第１の遮光画素領域又は第２の遮光画素領域の少なくとも一方の遮光画素を含む第３の基準値算出領域の第３の基準値算出画素信号を加算平均して算出する第４の加算平均値に所定の補正加算平均値ＲＢＣを加算した値から所定の目標値を減算した値をクランプ補正値として、第３のクランプ処理後の有効画素信号から減算することにより有効画素信号の光学的黒信号レベルを補正するクランプ補正処理を行う。

以上のように、本開示によれば、撮像素子の蓄積時間が変化する場合にも有効画素領域のクランプ処理後の黒信号レベルが変動することなく、安定した画像信号を出力することが可能なクランプ処理方法を提供することができる。したがって、本開示はフレームレートを変えながらの撮像に多大の効果を発揮する。

実施の形態で使用する撮像素子の画素構成を示す図である。 実施の形態１における各基準値の算出に使用する遮光画素領域を示す図である。 実施の形態１におけるクランプ処理方法を実現するためのクランプ処理回路の構成例を示すブロック図である。 基準値算出部の構成例を示すブロック図である。 安定化処理部の構成例を示すブロック図である。 安定化処理部の他の構成例を示すブロック図である。 実施の形態１における画像信号の各フレームでの信号レベルの変化及びクランプ処理動作を説明する図である。 実施の形態１におけるクランプ処理方法を実現するためのクランプ処理回路の他の構成例を示すブロック図である。 補正基準値加算部の構成例を示すブロック図である。 実施の形態１におけるクランプ処理の切り替え動作を説明する図である。 実施の形態１の変形例における各基準値の算出に使用する遮光画素領域を示す図である。 実施の形態１の他の変形例における各基準値の算出に使用する遮光画素領域を示す図である。 基準値算出部の他の構成例を示すブロック図である。 実施の形態２におけるクランプ処理方法を実現するためのクランプ処理回路の構成例を示すブロック図である。 実施の形態３における各基準値の算出に使用する遮光画素領域を示す図である。 実施の形態３の変形例における各基準値の算出に使用する遮光画素領域を示す図である。 実施の形態３の他の変形例における各基準値の算出に使用する遮光画素領域を示す図である。 実施の形態３におけるクランプ処理方法を実現するためのクランプ処理回路の構成例を示すブロック図である。 実施の形態３における画像信号の各フレームでの信号レベルの変化及びクランプ処理動作を説明する図である。 補正加算平均値加算部の構成例を示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

以下、実施の形態について、図１から図２０を用いて説明する。

図１は、実施の形態で使用する撮像素子の構成を示す図である。図１に示すように、実施の形態で使用する撮像素子は、有効画素信号を出力する有効画素領域１と、有効画素信号が出力されるのに先立って遮光画素信号を出力する第１の遮光画素領域２と、有効画素信号が出力された後に遮光画素信号を出力する第２の遮光画素領域３とから構成される。

（実施の形態１）
図２は、実施の形態１における各基準値の算出に使用する遮光画素領域を示す図である。実施の形態１のクランプ処理方法では、図２に示すように、第１の遮光画素領域２の遮光画素を含むように第１の基準値算出領域（斜線部分Ａ）を設定し、第２の遮光画素領域３の遮光画素を含むように第２の基準値算出領域（斜線部分Ｂ）を設定する。

図３は、実施の形態１のクランプ処理方法を実現するためのクランプ処理回路の構成例を示すブロック図である。図３に示すように、実施の形態１のクランプ処理回路は、撮像素子１０と、第１の基準値算出部１１と、第２の基準値算出部１２と、第１の選択部１４と、基準値減算部１５と、目標値加算部１６とから構成される。以下の説明では、第１の基準値算出部１１と第２の基準値算出部１２とを総称して基準値算出部１００と言う場合がある。

撮像素子１０は、図１に示す構成の各画素を上位ラインから下位ラインへと順に、また各ラインでは左画素から右画素へと順に走査するように画素信号を順次出力する。第１の基準値算出部１１は、撮像素子１０から出力される第１の基準値算出領域Ａの画素信号から第１の基準値ＲＡを算出する。第２の基準値算出部１２は、撮像素子１０から出力される第２の基準値算出領域Ｂの画素信号から第２の基準値ＲＢを算出する。第１の選択部１４は、第１の基準値ＲＡと第２の基準値ＲＢとのいずれかを選択して出力する。基準値減算部１５は、撮像素子１０から出力される有効画素信号から第１の選択部１４により選択された基準値を減算して出力する。目標値加算部１６は、基準値減算部１５から出力される有効画素信号にクランプ処理の目標値を加算して出力する。なお、基準値減算部１５と目標値加算部１６との順序は入れ替わっても構わない。

このように構成されたクランプ処理回路により、第２の基準値算出領域Ｂにおいては、第２の基準値算出領域Ｂ内の遮光画素を１フレーム毎に１回加算平均して算出する第２の加算平均値Ｂ（ｎ）に第２の安定化処理を施して得られる信号レベルを第２の基準値ＲＢ（ｎ）として生成する。ここに、ｎはフレーム番号である。

ここで第２の安定化処理とは、第２の加算平均値Ｂ（ｎ）のランダムノイズ等の影響による変動を抑制するために施す処理であり、その機能はＯＮ／ＯＦＦ可能とする。

図４は、図３のクランプ処理回路における、第１の基準値算出部１１の構成例を示すブロック図である。図４に示すように、第１の基準値算出部１１は、基準値算出領域加算平均部１１０と、安定化処理部１１１と、第２の選択部１１２とから構成される。

基準値算出領域加算平均部１１０は、撮像素子１０から出力される第１の基準値算出領域Ａの画素信号の加算平均値Ａ（ｎ）を出力する。安定化処理部１１１は、基準値算出領域加算平均部１１０から出力される加算平均値Ａ（ｎ）に対して安定化処理を施し、ランダムノイズの影響による加算平均値Ａ（ｎ）の変動を抑制して第１の基準値ＲＡ（ｎ）を出力する。第２の選択部１１２は、加算平均値Ａ（ｎ）の安定化処理のＯＮ／ＯＦＦに相当する処理を行うため、ＯＮ時は安定化処理部１１１の出力を選択し、ＯＦＦ時は基準値算出領域加算平均部１１０の出力を選択してそれぞれ出力する。

第２の基準値算出部１２の構成は、第１の基準値算出部１１と同様であるので説明を省略する。

第２の安定化処理ＯＮの場合の処理方法として、例えば現在のフレームであるフレーム（ｎ）の第２の加算平均値Ｂ（ｎ）と１フレーム前のフレーム（ｎ−１）の第２の基準値ＲＢ（ｎ−１）とを所定の割合で重み付け加算平均を行って現在のフレームであるフレーム（ｎ）の第２の基準値ＲＢ（ｎ）を生成する、すなわち、現在のフレームであるフレーム（ｎ）の第２の加算平均値Ｂ（ｎ）に所定の係数ＫＢ（ＫＢ≦１）を乗算した値と、１フレーム前のフレーム（ｎ−１）の第２の基準値ＲＢ（ｎ−１）に所定の係数１−ＫＢを乗算した値とを加算して現在のフレームであるフレーム（ｎ）の第２の基準値
ＲＢ（ｎ）＝ＫＢ×Ｂ（ｎ）＋（１−ＫＢ）×ＲＢ（ｎ−１） （式１）
を生成するＩＩＲ（Infinite Impulse Response）処理を行う方法や、１フレーム前のフレーム（ｎ−１）で算出した第２の基準値ＲＢ（ｎ−１）に第２の変化量ＤＢを、現在のフレームであるフレーム（ｎ）で算出した第２の加算平均値Ｂ（ｎ）に近づくように加算又は減算した値を、現在のフレームであるフレーム（ｎ）の第２の基準値
ＲＢ（ｎ）＝ＲＢ（ｎ−１）＋ＤＢ 又は ＲＢ（ｎ−１）−ＤＢ （式２）
（この第２の変化量ＤＢは微少量であり、１フレームでＤＢの黒信号レベル変化があったとしても画像では認識し難い程度の量とし、またＢ（ｎ）とＲＢ（ｎ−１）との差分がＤＢより小さい場合にはＤＢを加算又は減算を行わずＲＢ（ｎ）＝ＲＢ（ｎ−１）とする）とする方法などが考えられる。

一方、第２の安定化処理ＯＦＦの場合には、第２の基準値ＲＢ（ｎ）として第２の加算平均値Ｂ（ｎ）をそのまま出力し、ＲＢ（ｎ）＝Ｂ（ｎ）とする。

図５は、図４に示した第１の基準値算出部１１における安定化処理部１１１の構成例を示すブロック図である。図５に示すように、安定化処理部１１１は、第１の係数乗算部１１１０と、第２の係数乗算部１１１１と、第１の加算部１１１２と、基準値ホールド部１１１３とから構成される。

第１の係数乗算部１１１０は、入力された加算平均値Ａ（ｎ）に対して所定の係数Ｋ（Ｋ≦１）を乗算して出力する。第２の係数乗算部１１１１は、前回すなわち１フレーム前に生成して基準値ホールド部１１１３に保持しておいた基準値ＲＡ（ｎ−１）に対して所定の係数１−Ｋを乗算して出力する。第１の加算部１１１２は、第１の係数乗算部１１１０の出力と第２の係数乗算部１１１１の出力とを加算して安定化された加算平均値を第１の基準値ＲＡ（ｎ）として出力する。基準値ホールド部１１１３は、第１の加算部１１１２の出力を次回すなわち１フレーム後まで保持する。したがって、安定化処理部１１１から出力される加算平均値は、Ｋの値が０に近づくほど前回出力した基準値からの変化が小さくなるため、変動が少ない安定化された値となる。また、安定化処理のＯＦＦは、上記のように第２の選択部１１２の選択により行ってもよいし、所定の係数をＫ＝１と設定することで実現してもよい。

図６は、安定化処理部１１１の他の構成例を示すブロック図である。図６に示すように、安定化処理部１１１は、比較部１１１４と、変化量生成部１１１５と、第２の加算部１１１６と、基準値ホールド部１１１３とから構成される。

比較部１１１４は、入力された加算平均値Ａ（ｎ）と前回すなわち１フレーム前に生成して基準値ホールド部１１１３に保持しておいた基準値ＲＡ（ｎ−１）とを比較して、入力された加算平均値Ａ（ｎ）が前回の基準値ＲＡ（ｎ−１）より大きいか否かの結果を出力する。変化量生成部１１１５は、比較部１１１４から入力された結果に基づき、加算平均値Ａ（ｎ）の方が大きければ＋Ｄ（Ｄは微小正数）を、小さければ−Ｄをそれぞれ変化量として出力する。この変化量の絶対値Ｄは、１フレーム毎に画像信号の黒信号レベルがＤだけ変動しても画像として認識し難い程度の大きさであることが好ましい。

比較部１１１４で比較した結果、入力された加算平均値Ａ（ｎ）と前回の基準値ＲＡ（ｎ−１）との差が大きいほど、変化量の絶対値Ｄを大きくして加算平均値Ａ（ｎ）の変化に短時間で追従できるようにしてもよい。また、比較部１１１４で比較した結果、入力された加算平均値Ａ（ｎ）と前回の基準値ＲＡ（ｎ−１）との差がある程度小さければ、変化量Ｄを０としてもよい。

第２の加算部１１１６は、基準値ホールド部１１１３に保持しておいた前回の基準値ＲＡ（ｎ−１）に、変化量生成部１１１５から出力される変化量Ｄを加算する。基準値ホールド部１１１３は、第２の加算部１１１６の出力を次回すなわち１フレーム後まで保持する。したがって、安定化処理部１１１から出力される加算平均値は、変化量の絶対値Ｄの値が微小であれば前回出力した基準値ＲＡ（ｎ−１）からの変化が小さくなるため、変動が少ない安定化された値となる。また、安定化処理のＯＦＦは、上記のように第２の選択部１１２の選択により行ってもよいし、比較部１１１４で比較した結果である入力された加算平均値Ａ（ｎ）と前回の基準値ＲＡ（ｎ−１）との差分値を、そのまま変化量の絶対値Ｄとして用いることで実現してもよい。

第１の基準値算出領域Ａにおいては、第１の基準値算出領域Ａ内の遮光画素を１フレーム毎に１回加算平均して算出する第１の加算平均値Ａ（ｎ）に第１の安定化処理を施して得られる信号レベルを第１の基準値ＲＡ（ｎ）として生成する。

ここで第１の安定化処理とは、第２の安定化処理と同様に、第１の加算平均値Ａ（ｎ）のランダムノイズ等の影響による変動を抑制するために施す処理であり、その機能はＯＮ／ＯＦＦ可能とする。

第１の安定化処理ＯＮの場合の処理方法として、例えば現在のフレームであるフレーム（ｎ）の第１の加算平均値Ａ（ｎ）と１フレーム前のフレーム（ｎ−１）の第１の基準値ＲＡ（ｎ−１）とを所定の割合で重み付け加算平均を行って現在のフレームであるフレーム（ｎ）の第１の基準値ＲＡ（ｎ）を生成する、すなわち、現在のフレームであるフレーム（ｎ）の第１の加算平均値Ａ（ｎ）に所定の係数ＫＡ（ＫＡ≦１）を乗算した値と、１フレーム前のフレーム（ｎ−１）の第１の基準値ＲＡ（ｎ−１）に所定の係数１−ＫＡを乗算した値とを加算して現在のフレームであるフレーム（ｎ）の第１の基準値
ＲＡ（ｎ）＝ＫＡ×Ａ（ｎ）＋（１−ＫＡ）×ＲＡ（ｎ−１） （式３）
を生成するＩＩＲ処理を行う方法や、１フレーム前のフレーム（ｎ−１）で算出した第１の基準値ＲＡ（ｎ−１）に第１の変化量ＤＡを、現在のフレームであるフレーム（ｎ）で算出した第１の加算平均値Ａ（ｎ）に近づくように加算又は減算した値を、現在のフレームであるフレーム（ｎ）の第１の基準値
ＲＡ（ｎ）＝ＲＡ（ｎ−１）＋ＤＡ 又は ＲＡ（ｎ−１）−ＤＡ （式４）
（この第１の変化量ＤＡは微少量であり、１フレームでＤＡの黒信号レベル変化があったとしても画像では認識し難い程度の量とし、またＡ（ｎ）とＲＡ（ｎ−１）との差分がＤＡより小さい場合にはＤＡを加算又は減算を行わずＲＡ（ｎ）＝ＲＡ（ｎ−１）とする）とする方法などが考えられる。

一方、第１の安定化処理ＯＦＦの場合には、第１の基準値ＲＡ（ｎ）として第１の加算平均値Ａ（ｎ）をそのまま出力し、ＲＡ（ｎ）＝Ａ（ｎ）とする。

このようにして算出した第２の基準値ＲＢ（ｎ）及び第１の基準値ＲＡ（ｎ）を用いて、撮像素子１０の黒信号レベルの変化に応じて第２のクランプ処理及び第１のクランプ処理を行う。

図７は、画像信号の各フレームの第１の基準値算出領域Ａ、第２の基準値算出領域Ｂ及び有効画素領域１の信号レベルの変化の様子、及びクランプ処理動作を説明する図である。図７において、ｎ−４、・・・、ｎ−１、ｎ、ｎ＋１、・・・、ｎ＋３は各々画像信号のフレーム番号を表しており、フレーム（ｎ−１）以前と比較してフレーム（ｎ）以降で撮像素子１０の蓄積時間が長くなった例を示している。以下、例えば（ｎ）はｎ番目のフレームあることを示す。

Ａ０及びＢ０は撮像素子１０の蓄積時間が変化する以前の第１の遮光画素領域２及び第２の遮光画素領域３に設定した第１の基準値算出領域Ａの加算平均値及び第２の基準値算出領域Ｂの加算平均値、Ａ１及びＢ１は撮像素子１０の蓄積時間が変化した以降の第１の基準値算出領域Ａの加算平均値及び第２の基準値算出領域Ｂの加算平均値を表しており、蓄積時間が長くなった結果として第１の基準値算出領域Ａ及び第２の基準値算出領域Ｂの信号レベルが大きくなる。また、ＶＤはクランプ処理の目標値を表し、定常状態での最終的な有効画素領域１の黒信号レベルはＶＤとなる。

説明を簡単にするために、アイリスクローズ等により遮光された場合の有効画素領域１の加算平均値であるクランプ処理前の黒信号レベルは第２の基準値算出領域Ｂの加算平均値と等しいものとして説明する。

図７上段に示すように、フレーム（ｎ−４）からフレーム（ｎ−２）の第２の基準値算出領域Ｂの加算平均値はＢ０であり、この値に第２の安定化処理を施して得られる第２の基準値ＲＢ０は定常状態ではほぼＢ０と等しくなり、各々１フレーム後のフレーム（ｎ−３）からフレーム（ｎ−１）の有効画素領域１の信号から第２の基準値ＲＢ０を減算し、目標値ＶＤを加算する第２のクランプ処理（図７のＢ０の矢印）を行う。

したがって、フレーム（ｎ−３）からフレーム（ｎ−１）の有効画素領域１のクランプ処理後の黒信号レベルは図７中段に示すようにＶＤ＋（Ｂ０−ＲＢ０）＝ＶＤとなる。

フレーム（ｎ−１）で生成された第２の基準値も同様にＲＢ０であるが、その基準値が適用されるフレーム（ｎ）の有効画素領域１の遮光されたクランプ処理前の信号レベルはＢ１となっているため、基準値ＲＢ０が減算されても０とはならず、フレーム（ｎ）の有効画素領域１に対して第２のクランプ処理を行った場合には黒信号レベルはＶＤ＋（Ｂ１−ＲＢ０）となる。

そこで、フレーム（ｎ）については、撮像素子１０の蓄積時間が変化した後に有効画素信号が出力されるのに先立って出力される第１の基準値をＲＡ１として、フレーム（ｎ）の有効画素領域１の信号から第１の基準値ＲＡ１を減算し、目標値ＶＤを加算する第１のクランプ処理（図７のＡ１の矢印）に切り替える。

第１の基準値ＲＡ（ｎ）及び第２の基準値ＲＢ（ｎ）は毎フレームに第１の基準値算出領域Ａの加算平均値Ａ（ｎ）及び第２の基準値算出領域Ｂの加算平均値Ｂ（ｎ）に第１の安定化処理及び第２の安定化処理を施して生成するが、撮像素子１０の黒信号レベルが変化する遷移状態においては安定化処理が即座に追従できないため、第１のクランプ処理に切り替えたフレームのみ第１の安定化処理及び第２の安定化処理をＯＦＦ、すなわちＲＡ１＝Ａ１及びＲＢ１＝Ｂ１として処理を行う。

これにより、フレーム（ｎ）の第１の基準値算出領域Ａの加算平均値Ａ１と第２の基準値算出領域Ｂの加算平均値Ｂ１とが等しい場合には、第１のクランプ処理後の黒信号レベルはＶＤとなる。

撮像素子１０によっては、遮光画素領域であっても画素配置の位置によってはシェーディング等の影響により、信号レベルが異なる場合があるため、第１のクランプ処理後の有効画素領域１の黒信号レベルはＶＤ＋（Ｂ１−Ａ１）となり、理想的なクランプ処理後の黒信号レベルと比較してシェーディング分に相当する（Ｂ１−Ａ１）が残存することになる。

これを補正するために第１のクランプ処理を行う際には、補正基準値ＲＢＡを有効画素領域１の信号から減算することにより、黒信号レベルをＶＤとすることができる。

シェーディングの影響であれば撮像素子１０の温度により変化することが考えられるため、この補正基準値ＲＢＡを予め撮像素子１０の温度毎に所定の値を設定しておいてもよいし、フレーム毎に第２の基準値ＲＢ（ｎ）と第１の基準値ＲＡ（ｎ）との差分値を算出しておいて、第１のクランプ処理を行う直前のフレーム、すなわちフレーム（ｎ−１）での差分値ＲＢ０−ＲＡ０から補正基準値ＲＢＡを算出してもよい。

図８は、補正基準値ＲＢＡとしてフレーム毎に第２の基準値ＲＢと第１の基準値ＲＡとの差分値を算出する場合のクランプ処理回路の構成例を示すブロック図である。図８に示すクランプ処理回路は、撮像素子１０と、第１の基準値算出部１１と、第２の基準値算出部１２と、第１の選択部１４と、基準値減算部１５と、目標値加算部１６と、補正基準値加算部１７とから構成される。

補正基準値加算部１７は、第１の基準値算出部１１及び第２の基準値算出部１２の出力を入力され、補正基準値ＲＢＡを出力する。補正基準値加算部１７以外は、図３のクランプ処理回路と同じであるため説明を省略する。

図９は、図８のクランプ処理回路における補正基準値加算部１７の構成例を示すブロック図である。図９に示すように、補正基準値加算部１７は、第１の減算部１７０と、補正基準値ホールド部１７１と、第３の加算部１７２とから構成される。

第１の減算部１７０は、入力される第２の基準値ＲＢから第１の基準値ＲＡを減算して出力する。補正基準値ホールド部１７１は、第１の減算部１７０の出力を次回すなわち１フレーム後まで保持して補正基準値ＲＢＡとして出力する。ここで算出した補正基準値ＲＢＡは、撮像素子１０の駆動条件等によって第１の基準値ＲＡと第２の基準値ＲＢとの差が変化する場合には、それに応じたゲインを掛けたり、オフセット調整をして使用してもよい。第３の加算部１７２は、入力される第１の基準値ＲＡに補正基準値ＲＢＡを加算して出力する。

したがって、補正基準値ＲＢＡは１フレーム前の第１の基準値ＲＡの第２の基準値ＲＢに対する差分値であり、両者の相対関係が変化しなければ、有効画素信号から第１の基準値ＲＡと補正基準値ＲＢＡとを加算した値を減算することは、有効画素信号から第２の基準値ＲＢを減算することに相当する。

その後、フレーム（ｎ＋１）以降は撮像素子１０の黒信号レベルは定常状態となり、再度、第２のクランプ処理に切り替えることにより、フレーム（ｎ）以降の遮光画素領域で生成された第２の基準値ＲＢ１が適用されるため、再び有効画素領域１の第２のクランプ処理後の黒信号レベルはＶＤ＋（Ｂ１−ＲＢ１）＝ＶＤとなる。

図１０は、第２のクランプ処理と第１のクランプ処理との切り替えにより、第２の基準値と第１の基準値とが切り替わる様子を示す。図１０に示すように、第１の基準値は第１の基準値算出領域Ａの画素信号が全て出力されたタイミング、すなわち第１のクランプパルスが示すタイミングで更新され、第２の基準値は第２の基準値算出領域Ｂの画素信号が全て出力されたタイミング、すなわち第２のクランプパルスが示すタイミングで更新され、基準値は毎フレームに第２のクランプパルスのタイミングで第２の基準値ＲＢが適用され、遷移状態であるフレーム（ｎ）のみ、第１のクランプパルスのタイミングで第１の基準値ＲＡが適用されることになる。

上記第２のクランプ処理と第１のクランプ処理との切り替えは、撮像素子１０の駆動状態を変更するなど、予め黒信号レベルが変化するタイミングが判っている場合には、そのタイミングに合わせて切り替えればよい。

また、第１の基準値算出領域Ａの加算平均値Ａ（ｎ）又は第１の基準値ＲＡ（ｎ）を監視しておき、その変化により撮像素子１０の黒信号レベルの変化を検出して第２のクランプ処理と第１のクランプ処理とを切り替えてもよい。

図１１は、実施の形態１の変形例における各基準値の算出に使用する遮光画素領域を示す図である。図２では、第２の基準値算出領域（斜線部分Ｂ）を第１の遮光画素領域２に含まれる遮光画素を含まないように設定したが、図１１に示すように、第１の遮光画素領域２に含まれる遮光画素も第２の基準値算出領域Ｂに含むように設定することにより、第２の基準値算出領域Ｂの加算平均値Ｂ（ｎ）の生成に、より多くの画素を使用してランダムノイズによる影響を抑制することもできる。

図１２は、実施の形態１の他の変形例における各基準値の算出に使用する遮光画素領域を示す図である。図１２に示すように、第１の基準値算出領域（斜線部分Ａ）を第２の基準値算出領域（斜線部分Ｂ）の一部として含まれるように設定することにより、第１の基準値算出領域Ａの加算処理部と第２の基準値算出領域Ｂの加算処理部とを共用して加算処理を同時に開始し、第１の基準値算出領域Ａの加算処理の終了時点で第１の基準値算出領域Ａの加算平均値Ａ（ｎ）を算出して保持しておき、引き続き、第２の基準値算出領域Ｂの加算処理を継続して第２の基準値算出領域Ｂの加算平均値Ｂ（ｎ）を算出することで、回路規模を削減することができる。

図１３は、図３及び図８のクランプ処理回路における第１の基準値算出部１１と第２の基準値算出部１２との両方の機能を含む基準値算出部１００の構成例を示すブロック図である。図１３に示すように、基準値算出部１００は、基準値算出領域加算平均部１１０と、安定化処理部１１１及び１１３と、第２の選択部１１２及び１１４とから構成される。

第１の基準値算出領域Ａと第２の基準値算出領域Ｂとの設定が図２のような場合には、基準値算出領域加算平均部１１０は、撮像素子１０から出力される第１の基準値算出領域Ａの画素信号の加算平均値Ａ（ｎ）を出力した後に、第２の基準値算出領域Ｂの画素信号の加算処理を開始して、完了後、第２の基準値算出領域Ｂの画素信号の加算平均値Ｂ（ｎ）を出力する。また図１２のような場合には、第１の基準値算出領域Ａの画素信号の加算処理と、第２の基準値算出領域Ｂの画素信号の加算処理とを同時に開始して、途中で第１の基準値算出領域Ａの画素信号の加算平均値Ａ（ｎ）を出力し、引き続き第２の基準値算出領域Ｂの画素信号の加算処理を行い、完了後、第２の基準値算出領域Ｂの画素信号の加算平均値Ｂ（ｎ）を出力する。したがって、基準値算出領域加算平均部１１０は、第１の基準値算出領域Ａの加算処理と第２の基準値算出領域Ｂの加算処理とを兼ねることができ、回路規模を削減することができる。

安定化処理部１１１は、第１の基準値算出領域Ａの画素信号の加算平均値Ａ（ｎ）に対して安定化処理を施し、ランダムノイズの影響による加算平均値Ａ（ｎ）の変動を抑制して出力する。第２の選択部１１２は、加算平均値Ａ（ｎ）の安定化処理のＯＮ／ＯＦＦに相当する処理を行うため、ＯＮ時は安定化処理部１１１の出力を選択し、ＯＦＦ時は基準値算出領域加算平均部１１０の出力である第１の基準値算出領域Ａの画素信号の加算平均値Ａ（ｎ）を選択して出力する。一方、安定化処理部１１３は、第２の基準値算出領域Ｂの画素信号の加算平均値Ｂ（ｎ）に対して安定化処理を施し、ランダムノイズの影響による加算平均値Ｂ（ｎ）の変動を抑制して出力する。第２の選択部１１４は、加算平均値Ｂ（ｎ）の安定化処理のＯＮ／ＯＦＦに相当する処理を行うため、ＯＮ時は安定化処理部１１３の出力を選択し、ＯＦＦ時は基準値算出領域加算平均部１１０の出力である第２の基準値算出領域Ｂの画素信号の加算平均値Ｂ（ｎ）を選択して出力する。

実施の形態１の画像信号のクランプ処理方法は、以上のように、撮像素子１０の黒信号レベルが変化した場合にも、有効画素領域１のクランプ処理後の黒信号レベルが変動することなく、安定した画像信号を出力することができる。

（実施の形態２）
実施の形態２のクランプ処理方法では、図２に示すように、第１の遮光画素領域２の遮光画素を含むように第１の基準値算出領域（斜線部分Ａ）を設定する。

図１４は、実施の形態２のクランプ処理方法を実現するためのクランプ処理回路の構成例を示すブロック図である。図１４に示すように、実施の形態２のクランプ処理回路は、撮像素子１０と、第１の基準値算出部１１と、基準値減算部１５と、目標値加算部１６とから構成される。撮像素子１０、第１の基準値算出部１１、基準値減算部１５及び目標値加算部１６は、図３に示した実施の形態１のクランプ処理回路と同様であるため説明を省略する。

実施の形態１のクランプ処理回路と異なるのは、第１の選択部１４を持たず、したがって、常に第１の基準値算出部１１により生成される第１の基準値ＲＡを用いた第１のクランプ処理を行う点である。そして、撮像素子１０の黒信号レベルの変化の有無に応じて、第１の安定化処理のＯＦＦ／ＯＮを行うことで、第１のクランプ処理での黒信号レベルの安定化と変化への追従性とを確保する。

第１の基準値算出領域Ａにおいては、第１の基準値算出領域Ａ内の遮光画素を１フレーム毎に１回加算平均して算出する第１の加算平均値Ａ（ｎ）に第１の安定化処理を施して得られる信号レベルを第１の基準値ＲＡ（ｎ）として生成する。

ここで第１の安定化処理は、実施の形態１と同様の処理でＯＮ／ＯＦＦ可能とし、第１の安定化処理ＯＦＦの場合には、第１の基準値ＲＡ（ｎ）として第１の加算平均値Ａ（ｎ）をそのまま出力し、ＲＡ（ｎ）＝Ａ（ｎ）とする。

このようにして算出した第１の基準値ＲＡ（ｎ）を用いて、常に第１のクランプ処理を行うが、適用する第１の基準値ＲＡ（ｎ）については撮像素子１０の黒信号レベルの変化に応じて第１の安定化処理のＯＮ／ＯＦＦを行う。

すなわち撮像素子１０の黒信号レベルが変化しない定常状態である場合には、第１の安定化処理をＯＮとしてランダムノイズにより影響を抑制して得られる第１の基準値ＲＡ（ｎ）を、同じフレームで引き続き出力される有効画素信号から減算し、目標値ＶＤを加算する。撮像素子１０の黒信号レベルが変化する遷移状態である場合には、第１の安定化処理をＯＦＦとして第１の基準値算出領域Ａの加算平均値Ａ（ｎ）をそのまま第１の基準値ＲＡ（ｎ）として、同じフレームで引き続き出力される有効画素信号から減算し、目標値ＶＤを加算する。

上記第１の安定化処理のＯＮ／ＯＦＦの切り替えは、撮像素子１０の駆動状態を変更するなど、予め黒信号レベルが変化するタイミングが判っている場合には、そのタイミングに合わせて切り替えればよい。

また、第１の基準値算出領域Ａの加算平均値Ａ（ｎ）又は第１の基準値ＲＡ（ｎ）を監視しておき、その変化により撮像素子１０の黒信号レベルの変化を検出して第１の安定化処理のＯＮ／ＯＦＦを切り替えてもよい。

以上により、定常状態ではランダムノイズの影響を抑制して安定したクランプ処理を行いつつ、黒信号レベルの変動には即座に反応することが可能である。

実施の形態２の画像信号のクランプ処理方法は、以上のように、撮像素子１０の黒信号レベルが変化した場合にも、有効画素領域１のクランプ処理後の黒信号レベルが変動することなく、安定した画像信号を出力することができる。

（実施の形態３）
図１５、図１６及び図１７は、実施の形態３における各基準値の算出に使用する遮光画素領域を示す図である。実施の形態３のクランプ処理方法では、図１５、図１６及び図１７に示すように、少なくとも第２の遮光画素領域３の遮光画素を含むように第２の基準値算出領域（斜線部分Ｂ）を設定し、第１の遮光画素領域２又は第２の遮光画素領域３の少なくとも一方の遮光画素を含むように第３の基準値算出領域（斜線部分Ｃ）を設定する。

図１８は、実施の形態３のクランプ処理方法を実現するためのクランプ処理回路の構成例を示すブロック図である。図１８に示すように、実施の形態３のクランプ処理回路は、撮像素子１０と、第２の基準値算出部１２と、第３の基準値算出部１３と、基準値減算部１５と、目標値加算部１６と、第４の加算平均値算出部１８と、補正加算平均値加算部１９と、目標値減算部２０と、クランプ補正値減算部２１とから構成される。撮像素子１０及び第２の基準値算出部１２は、図３に示した実施の形態１のクランプ処理回路と同様であるため説明を省略する。

第３の基準値算出部１３は、撮像素子１０から出力される第３の基準値算出領域Ｃの画素信号から第３の基準値ＲＣを生成する。基準値減算部１５は、撮像素子１０から出力される有効画素信号の他に、第３の基準値算出領域Ｃの遮光画素信号からも、常に第２の基準値ＲＢを減算して出力する。目標値加算部１６は、基準値減算部１５から出力される有効画素信号及び第３の基準値算出領域Ｃの遮光画素信号にクランプ処理の目標値を加算して出力する。これにより、少なくとも撮像素子１０から出力される有効画素信号及び第３の基準値算出領域Ｃの画素信号に対して、第３のクランプ処理が施される。なお、基準値減算部１５と目標値加算部１６との順序は入れ替わっても構わない。

第４の加算平均値算出部１８は、目標値加算部１６から出力される第３のクランプ処理後の第３の基準値算出領域Ｃの画素信号から第４の加算平均値Ｃ’を算出する。補正加算平均値加算部１９は、第２の基準値算出部１２から出力される第２の基準値ＲＢ及び第３の基準値算出部１３から出力される第３の基準値ＲＣから補正加算平均値ＲＢＣを生成して、第４の加算平均値算出部１８から出力される第４の加算平均値Ｃ’に加算する。目標値減算部２０は、補正加算平均値加算部１９の出力から第３のクランプ処理の目標値を減算してクランプ補正値として出力する。クランプ補正値減算部２１は、目標値加算部１６から出力される第３のクランプ処理後の有効画素信号から、目標値減算部２０から出力されるクランプ補正値を減算する。

このように構成されたクランプ処理回路により、第２の基準値算出領域Ｂにおいては、第２の基準値算出領域Ｂ内の遮光画素を１フレーム毎に１回加算平均して算出する第２の加算平均値Ｂ（ｎ）に第２の安定化処理を施して得られる信号レベルを第２の基準値ＲＢ（ｎ）として生成する。

ここで第２の安定化処理とは、第２の加算平均値Ｂ（ｎ）のランダムノイズ等の影響による変動を抑制するために施す処理であり、その機能はＯＮ／ＯＦＦ可能とする。第２の安定化処理の実現方法は、実施の形態１と同様である。このようにして算出した第２の基準値ＲＢ（ｎ）を用いて第３のクランプ処理を行う。

図１９は、画像信号の各フレームの第３の基準値算出領域Ｃ、第２の基準値算出領域Ｂ及び有効画素領域１の信号レベルの変化の様子、及びクランプ処理動作を説明する図である。図１９において、ｎ−４、・・・、ｎ−１、ｎ、ｎ＋１、・・・、ｎ＋３は各々画像信号のフレーム番号を表しており、フレーム（ｎ−１）以前と比較してフレーム（ｎ）以降で撮像素子１０の蓄積時間が長くなった例を示している。以下、例えば（ｎ）はｎ番目のフレームあることを示す。

Ｂ０は撮像素子１０の蓄積時間が変化する以前の第２の遮光画素領域３に設定した第２の基準値算出領域Ｂの加算平均値、Ｂ１は撮像素子１０の蓄積時間が変化した以降の第２の基準値算出領域Ｂの加算平均値を表しており、蓄積時間が長くなった結果として第２の基準値算出領域Ｂの信号レベルが大きくなる。また、ＶＤはクランプ処理の目標値を表し、定常状態での最終的な有効画素領域１の黒信号レベルはＶＤとなる。

説明を簡単にするために、アイリスクローズ等により遮光された場合の有効画素領域１の加算平均値であるクランプ処理前の黒信号レベルは第２の基準値算出領域Ｂの加算平均値と等しいものとして説明する。

図１９上段に示すように、フレーム（ｎ−４）からフレーム（ｎ−２）の第２の基準値算出領域Ｂの加算平均値はＢ０であり、この値に第２の安定化処理を施して得られる第２の基準値ＲＢ０は定常状態ではほぼＢ０と等しくなり、各々１フレーム後のフレーム（ｎ−３）からフレーム（ｎ−１）の有効画素領域１及び第３の基準値算出領域Ｃの信号から第２の基準値ＲＢ０を減算し、目標値ＶＤを加算する第３のクランプ処理（図１９のＢ０の矢印）を行う。

したがって、フレーム（ｎ−３）からフレーム（ｎ−１）の有効画素領域１のクランプ処理後の黒信号レベルは図１９中段に示すようにＶＤ＋（Ｂ０−ＲＢ０）＝ＶＤとなる。

フレーム（ｎ−１）で生成された第２の基準値も同様にＲＢ０であるが、その基準値が適用されるフレーム（ｎ）の有効画素領域１の遮光されたクランプ処理前の信号レベルはＢ１となっているため、基準値ＲＢ０が減算されても０とはならず、フレーム（ｎ）の有効画素領域１に対して第３のクランプ処理を行った場合には黒信号レベルはＶＤ＋（Ｂ１−ＲＢ０）となる。

第２の基準値ＲＢ（ｎ）は毎フレームに第２の基準値算出領域Ｂの加算平均値Ｂ（ｎ）に第２の安定化処理を施して生成するが、撮像素子１０の黒信号レベルが変化する遷移状態においては安定化処理が即座に追従できないため、遷移状態のフレームのみ第２の安定化処理をＯＦＦ、すなわちＲＢ１＝Ｂ１として処理を行う。

この第３のクランプ処理については、有効画素領域１の画素信号以外に、第３の基準値算出領域Ｃの画素信号に対しても施されるようにする。

仮に、撮像素子１０の黒信号レベルが変化しなければ、第３のクランプ処理の結果、有効画素領域１及び第２の基準値算出領域Ｂの黒信号レベルはクランプ処理の目標値ＶＤとなるはずであり、また第３のクランプ処理後の第３の基準値算出領域Ｃの加算平均値である第４の加算平均値は、元々の第３のクランプ処理前の第３の基準値算出領域Ｃの加算平均値Ｃ０と第２の基準値算出領域Ｂの加算平均値Ｂ０との差分値をＲＢＣ０（ＲＢＣ０＝Ｂ０−Ｃ０）として、ＶＤ−ＲＢＣ０となる筈である。

一方、撮像素子１０の黒信号レベルが変化する遷移状態にあるフレーム（ｎ）では、第３のクランプ処理の結果、有効画素領域１及び第２の基準値算出領域Ｂの黒信号レベルはＶＤ＋（Ｂ１−Ｂ０）となり、また第４の加算平均値は、第３のクランプ処理前の第３の基準値算出領域Ｃの加算平均値Ｃ１と第２の基準値算出領域Ｂの加算平均値Ｂ１との差分値をＲＢＣ１（ＲＢＣ１＝Ｂ１−Ｃ１）として、ＶＤ＋（Ｂ１−Ｂ０）−ＲＢＣ１となる。

したがって、このフレーム（ｎ）におけるクランプ処理後の黒信号レベルの目標値ＶＤとの差分を後段の処理で補正することにより、撮像素子１０の黒信号レベルが変化した場合であっても撮像装置の最終出力の黒信号レベルの変動を抑制することができる。

その際、図１５に示すように、第３の基準値算出領域（斜線部分Ｃ）が第２の基準値算出領域（斜線部分Ｂ）と全く同じ領域であれば、第３のクランプ処理前の両者の加算平均値の差分値は０となるため、第４の加算平均値はＶＤ＋（Ｂ１−Ｂ０）−ＲＢＣ１＝ＶＤ＋（Ｂ１−Ｂ０）となり、第４の加算平均値から目標値ＶＤを減算した値をクランプ補正値として、第３のクランプ処理後の有効画素領域１の画素信号から減算するクランプ補正処理を行うことにより、有効画素領域１の黒信号レベルを目標値ＶＤにすることができる。

ただし、第４の加算平均値が生成されるのはフレーム（ｎ）の第３の基準値算出領域Ｃの画素信号が全て出力された後であるため、フレーム（ｎ）の有効画素領域１の画素信号を１フレーム近く遅延させて上記クランプ補正処理を行う必要があり、また第３のクランプ処理とクランプ補正処理との間に他の信号処理が行われる場合には、上記クランプ補正値についても同等の信号処理が必要な場合がある。例えば、他の信号処理が有効画素領域１の画素信号に対するゲイン調整の場合には、上記クランプ補正値についても相当するゲイン調整を行ってクランプ補正処理を行うようにすればよい。

一方、図１６に示すように、第３の基準値算出領域（斜線部分Ｃ）を第１の遮光画素領域２内に設定すれば、フレーム（ｎ）の有効画素領域１の画素信号を遅延させる必要は無いが、第２の基準値算出領域Ｂとは異なる位置であるため、シェーディング等の影響により上記差分値ＲＢＣ１は０とならない可能性がある。

したがって、この差分値に相当する値を補正加算平均値ＲＢＣとして、第４の加算平均値ＶＤ＋（Ｂ１−Ｂ０）−ＲＢＣ１に補正加算平均値ＲＢＣを加算した値から目標値ＶＤを減算した値をクランプ補正値として、第３のクランプ処理後の有効画素領域１の画素信号から減算するクランプ補正処理を行うことにより、有効画素領域１の黒信号レベルを目標値ＶＤにすることができる。

シェーディングの影響であれば撮像素子１０の温度により変化することが考えられるため、この補正加算平均値ＲＢＣを予め撮像素子１０の温度毎に所定の値ＲＢＣ１を設定しておいてもよい。

また、第３のクランプ処理前の第３の基準値算出領域Ｃの画素信号に対しても第２の基準値算出領域Ｂの画素信号と同様に、１フレーム毎に１回加算平均して算出する第３の加算平均値Ｃ（ｎ）に第３の安定化処理を施して得られる信号レベルを第３の基準値ＲＣ（ｎ）として生成し、フレーム毎に第２の基準値ＲＢ（ｎ）と第３の基準値ＲＣ（ｎ）との差分値を算出しておいて、直前のフレーム、すなわちフレーム（ｎ−１）での差分値ＲＢ０−ＲＣ０から補正加算平均値ＲＢＣを算出してもよい。

図２０は、図１８のクランプ処理回路における、補正加算平均値加算部１９の構成例を示すブロック図である。図２０に示すように、補正加算平均値加算部１９は、第２の減算部１９０と、補正加算平均値ホールド部１９１と、第４の加算部１９２とから構成される。

第２の減算部１９０は、第２の基準値算出部１２から出力される第２の基準値ＲＢから第３の基準値算出部１３から出力される第３の基準値ＲＣを減算して出力する。補正加算平均値ホールド部１９１は、第２の減算部１９０の出力を次回すなわち１フレーム後まで保持して補正加算平均値ＲＢＣとして出力する。ここで算出した補正加算平均値ＲＢＣは、撮像素子１０の駆動条件等によって第２の基準値ＲＢと第３の基準値ＲＣとの差が変化する場合には、それに応じたゲインを掛けたり、オフセット調整をして使用してもよい。第４の加算部１９２は、入力される第４の加算平均値Ｃ’に補正加算平均値ＲＢＣを加算して出力する。

したがって、補正加算平均値ＲＢＣは１フレーム前の第３の基準値ＲＣの第２の基準値ＲＢに対する差分値であり、両者の相対関係が変化しなければ、第４の加算平均値Ｃ’と補正加算平均値ＲＢＣとを加算することは、第３のクランプ処理後の第２の基準値算出領域Ｂの画素信号の加算平均値を算出することに相当する。

なお、第３のクランプ処理と上記クランプ補正処理との間に他の信号処理が行われ、それにより遅延が発生する場合には、その遅延量を考慮して、図１７に示すように、第３の基準値算出領域（斜線部分Ｃ）が第１の遮光画素領域２以外に第２の遮光画素領域３の遮光画素も含むように設定し、第３の基準値算出領域Ｃの加算平均により多くの画素を使用することでランダムノイズの影響を抑制するようにしてもよく、仮に他の信号処理が有効画素領域１の画素信号に対するゲイン調整の場合には、上記クランプ補正値についても相当するゲイン調整を行ってクランプ補正処理を行うようにすればよい。

また、第２の基準値算出領域（斜線部分Ｂ）を第１の遮光画素領域２に含まれる遮光画素も含むように設定することにより、第２の基準値算出領域Ｂの加算平均値Ｂ（ｎ）の生成により多くの画素を使用してランダムノイズによる影響を抑制することもできる。

その後、フレーム（ｎ＋１）以降は撮像素子１０の黒信号レベルが定常状態となり、上記クランプ補正処理は行わなくても、フレーム（ｎ）以降の遮光画素領域で生成された第２の基準値ＲＢ１が適用されるため、再び有効画素領域１の第３のクランプ処理後の黒信号レベルはＶＤ＋（Ｂ１−ＲＢ１）＝ＶＤとなる。

上記クランプ補正処理は、撮像素子１０の駆動状態を変更するなど、予め黒信号レベルが変化するタイミングが判っている場合には、そのタイミングに合わせて行えばよい。

また、上記クランプ補正値を監視しておき、その変化により撮像素子１０の黒信号レベルの変化を検出する、すなわち定常状態ではクランプ補正値はほぼ０となるため、クランプ補正値の絶対値がある程度大きな値となった場合に撮像素子１０の黒信号レベルの変化があったと見なしてクランプ補正処理を行ってもよい。

実施の形態３の画像信号のクランプ処理方法は、以上のように、撮像素子１０の黒信号レベルが変化した場合にも、有効画素領域１のクランプ処理後の黒信号レベルが変動することなく、安定した画像信号を出力することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

なお、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。

本開示は、撮像素子の蓄積時間などが変化して光学的黒信号レベルが変動した場合にも、画像信号の黒信号レベルの変動を抑制することができるなどの特徴を有し、フレームレートを可変しながら動画を撮影したり、高感度撮影を行うビデオカメラなどの撮像装置に有用である。

１ 有効画素領域
２ 第１の遮光画素領域
３ 第２の遮光画素領域
１０ 撮像素子
１１，１２，１３，１００ 基準値算出部
１１０ 基準値算出領域加算平均部
１１１，１１３ 安定化処理部
１１１０，１１１１ 係数乗算部
１１１３ 基準値ホールド部
１１１４ 比較部
１１１５ 変化量生成部
１４，１１２，１１４ 選択部
１１１２，１１１６，１７２，１９２ 加算部
１５ 基準値減算部
１６ 目標値加算部
１７ 補正基準値加算部
１７０，１９０ 減算部
１７１ 補正基準値ホールド部
１８ 加算平均値算出部
１９ 補正加算平均値加算部
１９１ 補正加算平均値ホールド部
２０ 目標値減算部
２１ クランプ補正値減算部

Claims (20)

1. 被写体を撮像して得られる有効画素信号を出力する有効画素領域と、前記有効画素信号が出力されるのに先立って出力される遮光画素信号を出力する第１の遮光画素領域とを有する、光電変換素子を２次元的に配置した撮像素子を用いて連続したフレームの画像信号を出力する場合のクランプ処理方法であって、
   現在のフレームであるフレーム（ｎ）の前記第１の遮光画素領域の遮光画素を含む第１の基準値算出領域の第１の基準値算出画素信号を加算平均して算出する第１の加算平均値Ａ（ｎ）に第１の安定化処理を施して得られる第１の基準値ＲＡ（ｎ）を、現在のフレームであるフレーム（ｎ）の前記有効画素信号から減算して所定の目標値を加算することにより前記有効画素信号の光学的黒信号レベルを決定する第１のクランプ処理を行うことを特徴とするクランプ処理方法。
2. 請求項１に記載のクランプ処理方法において、
   前記撮像素子は、前記有効画素信号が出力された後に出力される遮光画素信号を出力する第２の遮光画素領域を更に有し、
   現在のフレームであるフレーム（ｎ）の前記画像信号の光学的黒信号レベルに変化がない定常状態である場合には、少なくとも前記第２の遮光画素領域の遮光画素を含む第２の基準値算出領域の第２の基準値算出画素信号を加算平均して算出する第２の加算平均値Ｂ（ｎ）に第２の安定化処理を施して得られる第２の基準値ＲＢ（ｎ）を、１フレーム後のフレーム（ｎ＋１）の前記有効画素信号から減算して所定の目標値を加算することにより前記有効画素信号の光学的黒信号レベルを決定する第２のクランプ処理を行い、
   現在のフレームであるフレーム（ｎ）の前記画像信号の光学的黒信号レベルが変化する遷移状態である場合には、前記第１のクランプ処理を行うことを特徴とするクランプ処理方法。
3. 請求項２に記載のクランプ処理方法において、
   前記第２の基準値算出領域は前記第１の遮光画素領域に含まれる遮光画素をも含むことを特徴とするクランプ処理方法。
4. 請求項２に記載のクランプ処理方法において、
   前記第１の基準値算出領域は前記第２の基準値算出領域に含まれることを特徴とするクランプ処理方法。
5. 請求項２に記載のクランプ処理方法において、
   前記第１の安定化処理及び前記第２の安定化処理は各々処理ＯＮと処理ＯＦＦとの切り替えができ、前記処理ＯＮの場合は各々前記第１の加算平均値Ａ（ｎ）及び前記第２の加算平均値Ｂ（ｎ）に含まれるノイズによる変動を低減して各々前記第１の基準値ＲＡ及び前記第２の基準値ＲＢとして出力し、前記処理ＯＦＦの場合は各々入力された前記第１の加算平均値Ａ（ｎ）及び前記第２の加算平均値Ｂ（ｎ）をそのまま各々前記第１の基準値ＲＡ（ｎ）及び前記第２の基準値ＲＢ（ｎ）として出力することを特徴とするクランプ処理方法。
6. 請求項２に記載のクランプ処理方法において、
   前記第１の安定化処理及び前記第２の安定化処理では、現在のフレームであるフレーム（ｎ）の前記第１の基準値ＲＡ（ｎ）及び前記第２の基準値ＲＢ（ｎ）を漸次変化させて出力することを特徴とするクランプ処理方法。
7. 請求項２に記載のクランプ処理方法において、
   前記第１のクランプ処理を行う際には、前記第１の安定化処理及び前記第２の安定化処理は各々処理ＯＦＦとすることを特徴とするクランプ処理方法。
8. 請求項２に記載のクランプ処理方法において、
   前記第１のクランプ処理と前記第２のクランプ処理との切り替えは、光学的黒信号レベル変化を伴う前記撮像素子の駆動状態の変化の有無に合わせて行うことを特徴とするクランプ処理方法。
9. 請求項２に記載のクランプ処理方法において、
   前記第１のクランプ処理と前記第２のクランプ処理とは、前記第１の加算平均値Ａ（ｎ）又は前記第１の基準値ＲＡ（ｎ）の変化により光学的黒信号レベル変化の有無を検出して切り替えることを特徴とするクランプ処理方法。
10. 請求項２に記載のクランプ処理方法において、
    前記第１のクランプ処理を行う際に、前記第１の基準値ＲＡ（ｎ）に所定の補正基準値ＲＢＡを加算した値を現在のフレームの前記有効画素信号から減算して所定の目標値を加算することにより前記有効画素信号の光学的黒信号レベルを決定することを特徴とするクランプ処理方法。
11. 被写体を撮像して得られる有効画素信号を出力する有効画素領域と、前記有効画素信号が出力された後に出力される遮光画素信号を出力する第２の遮光画素領域とを有する、又は、前記有効画素信号が出力されるのに先立って出力される遮光画素信号を出力する第１の遮光画素領域を更に有する、光電変換素子を２次元的に配置した撮像素子を用いて連続したフレームの画像信号を出力する場合のクランプ処理方法であって、
    １フレーム前のフレーム（ｎ−１）で算出した、少なくとも前記第２の遮光画素領域の遮光画素を含む第２の基準値算出領域の第２の基準値算出画素信号を加算平均して算出する第２の加算平均値Ｂ（ｎ−１）に第２の安定化処理を施して得られる第２の基準値ＲＢ（ｎ−１）を、現在のフレームであるフレーム（ｎ）の画像信号全体から減算して所定の目標値を加算することにより前記画像信号の光学的黒信号レベルを決定する第３のクランプ処理を行い、前記現在のフレームであるフレーム（ｎ）の前記第３のクランプ処理後の前記第１の遮光画素領域又は前記第２の遮光画素領域の少なくとも一方の遮光画素を含む第３の基準値算出領域の第３の基準値算出画素信号を加算平均して算出する第４の加算平均値に所定の補正加算平均値ＲＢＣを加算した値から前記所定の目標値を減算した値をクランプ補正値として、前記第３のクランプ処理後の前記有効画素信号から減算することにより前記有効画素信号の光学的黒信号レベルを補正するクランプ補正処理を行うことを特徴とするクランプ処理方法。
12. 請求項１１に記載のクランプ処理方法において、
    前記第２の基準値算出領域は前記第１の遮光画素領域に含まれる遮光画素をも含むことを特徴とするクランプ処理方法。
13. 請求項１１に記載のクランプ処理方法において、
    前記第３の基準値算出領域は前記第２の基準値算出領域と同じ領域であることを特徴とするクランプ処理方法。
14. 請求項１１に記載のクランプ処理方法において、
    前記第３のクランプ処理前の前記第３の基準値算出領域の前記第３の基準値算出画素信号を加算平均して算出する第３の加算平均値Ｃ（ｎ−１）に第３の安定化処理を施して得られる第３の基準値ＲＣ（ｎ−１）を生成することを特徴とするクランプ処理方法。
15. 請求項１４に記載のクランプ処理方法において、
    前記第２の安定化処理及び前記第３の安定化処理は各々処理ＯＮと処理ＯＦＦとの切り替えができ、前記処理ＯＮの場合は各々前記第２の加算平均値Ｂ（ｎ−１）及び前記第３の加算平均値Ｃ（ｎ−１）に含まれるノイズによる変動を低減して各々前記第２の基準値ＲＢ（ｎ−１）及び前記第３の基準値ＲＣ（ｎ−１）として出力し、前記処理ＯＦＦの場合は各々入力された前記第２の加算平均値Ｂ（ｎ−１）及び第３の加算平均値Ｃ（ｎ−１）をそのまま各々前記第２の基準値ＲＢ（ｎ−１）及び前記第３の基準値ＲＣ（ｎ−１）として出力することを特徴とするクランプ処理方法。
16. 請求項１４に記載のクランプ処理方法において、
    前記第２の安定化処理及び前記第３の安定化処理では、現在のフレームであるフレーム（ｎ）の第２の基準値ＲＢ（ｎ）及び第３の基準値ＲＣ（ｎ）を漸次変化させて出力することを特徴とするクランプ処理方法。
17. 請求項１４に記載のクランプ処理方法において、
    前記第２の安定化処理及び前記第３の安定化処理は、光学的黒信号レベル変化を伴う前記撮像素子の駆動状態の変化があった場合には各々処理ＯＦＦとなるように切り替えることを特徴とするクランプ処理方法。
18. 請求項１４に記載のクランプ処理方法において、
    前記第２の安定化処理及び前記第３の安定化処理は、前記クランプ補正値の絶対値の大きさにより光学的黒信号レベルが変化したことを検出した場合には各々処理ＯＦＦとなるように切り替えることを特徴とするクランプ処理方法。
19. 請求項１１に記載のクランプ処理方法において、
    前記クランプ補正処理は、光学的黒信号レベル変化を伴う前記撮像素子の駆動状態の変化がある場合に行うことを特徴とするクランプ処理方法。
20. 請求項１１に記載のクランプ処理方法において、
    前記クランプ補正処理は、前記クランプ補正値の絶対値の大きさにより光学的黒信号レベルが変化したことを検出した場合に行うことを特徴とするクランプ処理方法。

Images