JP6887840B2

JP6887840B2 - 信号処理回路、撮像装置及び信号処理方法

Info

Publication number: JP6887840B2
Application number: JP2017055840A
Authority: JP
Inventors: 雄一平井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-03-22
Filing date: 2017-03-22
Publication date: 2021-06-16
Anticipated expiration: 2037-03-22
Also published as: JP2018160740A

Description

本発明は、信号処理回路、撮像装置及び信号処理方法に関する。

各画素にマイクロレンズが形成されたイメージセンサを用いて、瞳分割方式の焦点検出を行う撮像装置が知られている。特許文献１には、瞳分割方式位相差検出が可能な撮像装置が開示されている。特許文献１では、撮像素子の１つの画素は２つのフォトダイオード（以下、分割画素という）を有しており、各フォトダイオードは１つのマイクロレンズによって撮影レンズの異なる瞳を通過した光を受光する。このような分割画素を持つ撮像素子において、２つのフォトダイオードからの出力信号の波形を比較することで、撮像面位相差ＡＦ（オートフォーカス）が可能となる。また、２つのフォトダイオードからの出力信号を加算することで、通常の撮影画像を得ることができる。

特開２００１−８３４０７号公報

記録用通常撮影画像取得のために、全画素（２つのフォトダイオード出力信号の加算状態）読み出しが行われる。これに対して、任意のライン分を撮像面位相差ＡＦのための分割画素読み出しを実施するように制御して、撮像面位相差ＡＦ兼記録画像取得走査を行う撮像制御は、例えば動画撮影やミラーレスカメラによる静止画撮影時の合焦動作に有効である。２つのフォトダイオード出力信号を加算した状態で読み出した通常撮影画素取得ライン（以下、通常行という）と、合焦用に分割画素単位での信号読み出しを含むライン（以下、ＡＦ行という）とがある。通常行とＡＦ行とで、画素回路部の暗電流や信号読み出しタイミングの相違によるオフセット段差が発生する。オフセット段差は、横縞の原因となり画質低下を招く。また、オフセット段差は、温度特性を持つので、リアルタイム検出・補正を必要とする。撮像装置においては、イメージセンサ読み出し信号をデジタル化し、信号処理、画像処理して記録する際に、記録データの処理フローとしては途中で分割画素データを取り除いた状態でフレームデータ処理を行うが、オフセット段差を含む場合がある。その場合には、フレームデータ処理中において、オフセット段差補正が必要となる。

本発明の目的は、横縞の発生を抑制することができる信号処理回路、撮像装置及び信号処理方法を提供することである。

本発明の信号処理回路は、複数の第１の光学的黒画素データ及び複数の第１の有効画素データを含む第１のラインデータと、複数の第２の光学的黒画素データ及び複数の第２の有効画素データを含む第２のラインデータとを有するフレームデータを入力する信号処理回路であって、前記第１のラインデータの複数の第１の光学的黒画素データを基に、前記第１のラインデータの黒レベルを推定する第１の黒レベル推定手段と、前記第２のラインデータの複数の第２の光学的黒画素データと前記第１の黒レベル推定手段により推定された前記第１のラインデータの黒レベルとを基に、前記第２のラインデータの黒レベルを推定する第２の黒レベル推定手段とを有する。

本発明によれば、横縞の発生を抑制することができる。

撮像装置の構成例を示す図である。撮像素子の構成例を示す図である。撮像素子の画素アレイの構成例を示す平面図及び断面図である。撮像装置の１フレームの読み出しを示すタイミングチャートである。撮像装置の駆動方法を示すタイミングチャートである。撮像装置の異なる駆動方法を示すタイミングチャートである。撮像装置の駆動方法を示すタイミングチャートである。撮像素子のフレーム読み出しデータ状態を示す図である。クランプ処理回路の処理のフレーム状態を示す図である。検出領域の抽出黒レベルを示す図である。クランプ処理回路の構成例を示す図である。代表黒レベル及び温度補償係数のテーブルを示す図である。ＣＰＵの温度補償処理のフローチャートである。フィルタ回路の構成例を示す図である。フィルタ回路の処理を示すタイミングチャートである。平均化手段の構成例を示す図である。平均化手段の処理を示すタイミングチャートである。クランプ処理回路の処理を示すタイミングチャートである。クランプ処理回路の他の構成例を示す図である。

図１は、本発明の実施形態による撮像装置１の構成例を示す図である。撮像装置１は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。撮像装置１は、ＣＰＵ１００と、ＳＳＧ１０１と、光学系１０２と、撮像素子１０３と、信号処理回路１０４と、画像処理回路１０５と、ＲＯＭ１０６とを有する。さらに、撮像装置１は、符号化処理手段１０７と、記録処理手段１０８と、記録メディア１０９と、表示処理手段１１０と、表示デバイス１１１と、ＴＧ１１２と、デフォーカス量計算手段１１３とを有する。光学系１０２は、フォーカスレンズ及びズームレンズを有し、光学像を撮像素子１０３上に結像させる。撮像素子１０３は、光電変換により画像信号を生成し、画像信号をアナログからデジタルに変換し、デジタルの画像信号を出力する。

信号処理回路１０４は、撮像素子１０３から出力される画像信号の補正と、合焦制御用の評価値の取得を行う。信号処理回路１０４は、像データ分離部１０４０と、クランプ処理手段１０４１と、シェーディング補正手段１０４２と、傷補正手段１０４３と、レベル整合手段１０４４と、シェーディング補正手段１０４５と、相関演算手段１０４６とを有する。像データ分離部１０４０は、視差画像としての分割画素信号を撮像面位相差ＡＦ用の信号処理パスのレベ整合手段１０４４に出力し、全画素信号を記録系の信号処理パスのクランプ処理手段１０４１に出力する。記録系の信号処理パスは、黒レベルを再現するクランプ処理手段（クランプ処理回路）１０４１と、シェーディングを補正するシェーディング補正手段１０４２と、撮像素子１０３の画素欠陥を補正する傷補正手段１０４３を含む。ＡＦ用の信号処理パスは、左右（上下でも良いが、図３の撮像素子１０３の構成では左右を扱う）の視差画像を入力し、レベル整合手段１０４４と、シェーディング補正手段１０４５と、相関演算手段１０４６とを含む。レベル整合手段１０４４は、この視差画像対の黒レベルを整合する手段であり、左右（または上下）毎のクランプ処理を実施し、ペデスタルレベルの共通化を図る手段である。シェーディング補正手段１０４５は、視差画像対の夫々のシェーディング補正を行う。相関演算手段１０４６は、任意の測距枠中の視差画像の夫々の相関関係を評価する。相関演算手段１０４６は、視差画像の領域の夫々をずらしながら、測距枠中の相関演算を行う。また、相関演算手段１０４６は、１画素以下の分解能に対する相関値の推定（サブピクセル推定）の処理も行う。デフォーカス量計算手段１１３は、画素間の相関値を、レンズ繰り出し量の情報へ変換し、光学系１０２へフィードバックする。デフォーカス量計算手段１１３は、相関演算結果のレンズ繰り出し量への変換係数として、事前の工程で取得した調整値を保持しておく。光学系１０２は、レンズ繰り出し量に応じて、フォーカスレンズを駆動し、オートフォーカスを実現する。

画像処理回路１０５は、ノイズリダクション（ＮＲ）１０５０と、光学回復処理手段１０５１と、現像処理手段１０５２とを有する。ノイズリダクション（ＮＲ）１０５０は、傷補正手段１０４３により補正された画像信号に対して、ノイズ抑制処理を行う。本実施形態のノイズリダクション（ＮＲ）の位置は一例であり、信号処理の一環として事前に実施しても良いし、現像後の色データに対して実施しても良い。光学回復処理手段１０５１は、回折による画質低下を回復する。現像処理手段１０５２は、色データの処理（同時化、偽色処理、ガンマ補正等）を行う。

符号化処理手段１０７は、現像処理手段１０５２が出力する画像信号を記録用に圧縮する。記録処理手段１０８は、圧縮された画像信号を記録メディア１０９に記録する。記録メディア１０９は、メモリカード等である。表示処理手段１１０は、現像処理手段１０５２が出力する画像信号を基に表示用の画像を生成して表示デバイス１１１に転送する。表示デバイス１１１は、液晶ディスプレイ（ＬＣＤ）等であり、画像を表示する。

ＲＯＭ１０６は、プログラムを記憶する。ＣＰＵ１００は、ＲＯＭ１０６に記憶されているプログラムを実行することにより、撮像装置１の全体の処理を制御する。ＳＳＧ（Synchronous Signal Generator）１０１は、同期信号生成手段であり、撮像タイミングを制御する。また、ＳＳＧ１０１は、信号処理回路１０４にフレーム制御タイミングを出力し、ＴＧ１１２にフレーム同期信号を出力する。ＴＧ（Timing Generator）１１２は、タイミングジェネレータであり、撮像素子１０３の駆動タイミングを制御する。該ＳＳＧ１０１、ＴＧ１１２は、撮像素子１０３の転送データをオンフライで信号処理回路１０４が処理するための一例である。

図２は、図１の撮像素子１０３の構成例を示す図である。撮像素子１０３は、単位画素１０、垂直走査回路１２、水平走査回路１４、列読み出し回路１６、メモリ１８、ランプ信号発生器２０、カウンタ２２を有する。複数の単位画素１０は、行方向及び列方向に沿って２次元行列状に配列され、撮像領域である画素アレイを構成する。図２には図面の簡略化のために２行２列の単位画素１０のみを示しているが、行方向及び列方向に配置される単位画素１０の数は特に限定されるものではない。なお、本明細書では、行方向とは図面において横方向を示し、列方向とは図面において縦方向を示すものとする。また、本実施形態では、行方向が撮像装置１における水平方向に対応し、列方向が撮像装置１における垂直方向に対応する。

複数の単位画素１０の各々は、各々が光を電荷に変換する複数の光電変換素子２４Ａ及び２４Ｂを有する瞳分割型の焦点検出用画素である。複数の単位画素１０の各々は、受光部２４、転送ＭＯＳトランジスタ２６Ａ、２６Ｂ、リセットＭＯＳトランジスタ２８、増幅ＭＯＳトランジスタ３０、選択ＭＯＳトランジスタ３２を有する。図２では、図面の簡略化のため、１つの単位画素１０についてのみ具体的な回路構成の一例を示している。受光部２４は、複数の光電変換素子２４Ａ及び２４Ｂを有する。光電変換素子２４Ａ、２４Ｂは、例えば、フォトダイオードであり、光を電荷に変換する光電変換ユニットである。光電変換素子２４Ａは、アノードが接地電圧線に接続され、カソードが転送ＭＯＳトランジスタ２６Ａのソースに接続されている。光電変換素子２４Ｂは、アノードが接地電圧線に接続され、カソードが転送ＭＯＳトランジスタ２６Ｂのソースに接続されている。転送ＭＯＳトランジスタ２６Ａ及び２６Ｂのドレインは、リセットＭＯＳトランジスタ２８のソース及び増幅ＭＯＳトランジスタ３０のゲートに接続されている。転送ＭＯＳトランジスタ２６Ａ及び２６Ｂのドレイン、リセットＭＯＳトランジスタ２８のソース及び増幅ＭＯＳトランジスタ３０のゲートの接続ノードは、フローティングディフュージョン領域（Floating Diffusion。以下、ＦＤ領域という）３４を構成する。

リセットＭＯＳトランジスタ２８及び増幅ＭＯＳトランジスタ３０のドレインは、電源電圧線に接続されている。増幅ＭＯＳトランジスタ３０のソースは、選択ＭＯＳトランジスタ３２のドレインに接続されている。転送ＭＯＳトランジスタ２６Ａ及び２６Ｂ、リセットＭＯＳトランジスタ２８、増幅ＭＯＳトランジスタ３０、選択ＭＯＳトランジスタ３２は、光電変換素子２４Ａ及び２４Ｂで生成された電荷に基づく画素信号を読み出すための画素内読み出し回路を構成する。なお、トランジスタのソースとドレインの呼称は、トランジスタの導電型や着目する機能等に応じて異なることがあり、上述のソースとドレインとは逆の名称で呼ばれることもある。

図３（ａ）及び（ｂ）は、撮像素子１０３の画素アレイの構成例を示す平面図及び断面図である。図３（ａ）は画素アレイの上面図であり、図３（ｂ）は図３（ａ）のＡ−Ａ’線に沿った断面図である。図２に示す画素アレイは、特に限定されるものではないが、例えば図３（ａ）に示す平面レイアウトによって実現することができる。図３（ａ）において点線で囲まれた単位領域が単位画素１０である。各単位画素１０上には、１個のマイクロレンズ３８がそれぞれ配置されている。光電変換素子２４Ａ、２４Ｂとマイクロレンズ３８との間には、図３（ｂ）に示すように、カラーフィルタ３６が配置されている。

本明細書において、１つの単位画素１０が有する複数の光電変換素子２４Ａ、２４Ｂを一括して示す際は、受光部２４と表記するものとする。１つのマイクロレンズ３８は、１つの受光部２４上に配置され、光束を受光部２４に集光する。つまり、１つのマイクロレンズ３８は１つの受光部２４に対応して設けられている。１つのマイクロレンズ３８によって集光された入射光は、そのマイクロレンズ３８に対応して設けられた単位画素１０の受光部２４を構成する光電変換素子２４Ａ、２４Ｂに入射する。光電変換素子２４Ａ、２４Ｂは、一対の瞳分割方式の焦点検出画素を構成する。

図２において、単位画素１０の各行には、行方向に延在して、信号線ＴＸＡ、信号線ＴＸＢ、信号線ＲＥＳ、信号線ＳＥＬが、それぞれ配置されている。信号線ＴＸＡは、行方向に並ぶ単位画素１０の転送ＭＯＳトランジスタ２６Ａのゲートにそれぞれ接続され、これら単位画素１０に共通の信号線をなしている。信号線ＴＸＢは、行方向に並ぶ単位画素１０の転送ＭＯＳトランジスタ２６Ｂのゲートにそれぞれ接続され、これら単位画素１０に共通の信号線をなしている。信号線ＲＥＳは、行方向に並ぶ単位画素１０のリセットＭＯＳトランジスタ２８のゲートにそれぞれ接続され、これら単位画素１０に共通の信号線をなしている。信号線ＳＥＬは、行方向に並ぶ単位画素１０の選択ＭＯＳトランジスタ３２のゲートにそれぞれ接続され、これら単位画素１０に共通の信号線をなしている。図２では、図面の簡略化のため、１つの単位画素１０に接続される信号線ＴＸＡ、ＴＸＢ、ＲＥＳ、ＳＥＬのみを示している。

垂直走査回路１２は、ＴＧ１１０からの所定のタイミング信号に基づき、単位画素１０を行ごとに選択して、単位画素１０から画素信号を出力させるためのものである。信号線ＴＸＡ、信号線ＴＸＢ、信号線ＲＥＳ、信号線ＳＥＬは、垂直走査回路１２に接続されている。信号線ＴＸＡには、垂直走査回路１２から、転送ＭＯＳトランジスタ２６Ａを駆動するための転送パルス信号ＰＴＸＡが出力される。信号線ＴＸＢには、垂直走査回路１２から、転送ＭＯＳトランジスタ２６Ｂを駆動するための転送パルス信号ＰＴＸＢが出力される。信号線ＲＥＳには、垂直走査回路１２から、リセットＭＯＳトランジスタ２８を駆動するためのリセットパルス信号ＰＲＥＳが出力される。信号線ＳＥＬには、垂直走査回路１２から、選択ＭＯＳトランジスタ３２を駆動するための選択パルス信号ＰＳＥＬが出力される。ここでは、これら信号線にハイレベルの信号が印加されると、対応するトランジスタが導通状態（オン状態）になるものとする。また、ローレベルの信号が印加されると、対応するトランジスタが非導通状態（オフ状態）になるものとする。

単位画素１０の各列には、列方向に延在して、列信号線４０がそれぞれ配置されている。列信号線４０は、列方向に並ぶ単位画素１０のそれぞれの選択ＭＯＳトランジスタ３２のソースに接続され、これら単位画素１０に共通の信号線をなしている。各列の列信号線４０には、列読み出し回路１６と電流源４２とが、それぞれ接続されている。列読み出し回路１６は、単位画素１０から読み出された信号を処理するためのものである。列読み出し回路１６は、図２に示すように、増幅器４４と、アナログデジタル変換部５２とを有している。

増幅器４４は、演算増幅器（差動増幅器）４６と、スイッチ４８と、入力容量Ｃ０と、負荷容量Ｃｆとを有し、単位画素１０の信号を増幅する。演算増幅器４６の反転入力端子は、入力容量Ｃ０を介して列信号線４０に接続されている。演算増幅器４６の非反転入力端子には、基準電圧が与えられている。演算増幅器４６の反転入力端子と出力端子との間には、負荷容量Ｃｆとスイッチ４８とが並列に接続されている。スイッチ４８は、制御ノードに印加される信号ＰＣ０Ｒにより駆動される。ここでは、信号ＰＣ０Ｒがハイレベルのときにスイッチ４８は導通状態（オン状態）となり、信号ＰＣ０Ｒがローレベルのときにスイッチ４８は非導通状態（オフ状態）となる。

アナログデジタル変換部５２は、バッファ回路を構成する演算増幅器５４と、コンパレータを構成する演算増幅器５６とを有している。演算増幅器５４の非反転入力端子は、演算増幅器４６の出力端子に接続されている。演算増幅器５４の反転入力端子は、演算増幅器５４の出力端子に接続されている。演算増幅器５４の出力端子は、演算増幅器５６の非反転入力端子に接続されている。演算増幅器５６の反転入力端子は、ランプ信号発生器２０に接続されている。演算増幅器５６の出力端子には、メモリ１８が接続されている。メモリ１８には、水平走査回路１４と、カウンタ２２とが接続されている。

ランプ信号発生器２０は、時間と共にレベルが上昇するランプ信号を生成する。演算増幅器５６は、演算増幅器５４が出力する画素信号とランプ信号発生器２０が出力するランプ信号を比較し、画素信号とランプ信号の大小関係が逆転すると、出力信号を反転させる。カウンタ２２は、ランプ信号のレベル変化が開始すると、カウンタ値のカウントを開始する。メモリ１８は、演算増幅器５６の出力信号が反転すると、カウンタ２２のカウンタ値を記憶する。このカウンタ値は、デジタルの画素信号である。水平走査回路１４は、メモリ１８に記憶されている各列のデジタルの画素信号を順次外部に出力する。

図４は、撮像装置１の１フレームの読み出しを示すタイミングチャートである。撮像装置１の駆動方法では、図４に示すように、垂直同期信号ＶＤを基準として、シャッター走査と読み出し走査とを、撮像素子１０３の行毎に順次行う。シャッター走査では、垂直走査回路１２は、行毎に順次、該当する行に属する複数の単位画素１０の光電変換素子２４Ａ、２４Ｂの保持電荷のリセットを行う。読み出し走査では、垂直走査回路１２は、行毎に順次、該当する行に属する複数の単位画素１０から光電変換素子２４Ａ、２４Ｂの蓄積電荷に基づく信号を読み出す。シャッター走査の開始から読み出し走査の開始までの時間が、光電変換素子２４Ａ、２４Ｂへの信号電荷の蓄積期間となる。

図５は、撮像装置１の駆動方法を示すタイミングチャートであり、各行の読み出し動作をより具体的に示す。図５において、上述のシャッター走査の動作は、概ね時刻ｔ１〜時刻ｔ３の期間に該当する。また、上述の読み出し走査の動作は、概ね時刻ｔ１０〜時刻ｔ１５の期間に該当する。

まず、水平同期信号ＨＤに同期して、時刻ｔ１において、信号ＰＲＥＳがハイレベル、信号ＰＴＸＡ及び信号ＰＴＸＢがハイレベルとなり、リセットＭＯＳトランジスタ２８及び転送ＭＯＳトランジスタ２６Ａ、２６Ｂがオン状態となる。これにより、光電変換素子２４Ａ、２４Ｂの蓄積電荷が転送ＭＯＳトランジスタ２６Ａ、２６Ｂ及びリセットＭＯＳトランジスタ２８を介して排出される。すなわち、光電変換素子２４Ａ、２４Ｂのリセット動作が行われる。このように、本実施形態の駆動方法では、電子シャッターパルスとして信号ＰＲＥＳ、信号ＰＴＸＡ及び信号ＰＴＸＢをハイレベルにすることで光電変換素子２４Ａ、２４Ｂを同時にリセットする。電子シャッター駆動を行う場合、上述のように、読み出し走査に先行して単位画素１０のリセットを行う。

次に、時刻ｔ２において、信号ＰＴＸＡ及び信号ＰＴＸＢがローレベルとなり、転送ＭＯＳトランジスタ２６Ａ、２６Ｂがオフ状態となる。このタイミングで、光電変換素子２４Ａ、２４Ｂのリセット動作が終了し、光電変換素子２４Ａ、２４Ｂの電荷蓄積期間が開始する。転送ＭＯＳトランジスタ２６Ａ、２６Ｂがオフ状態となった後、時刻ｔ３において、信号ＰＲＥＳがハイレベルとなり、リセットＭＯＳトランジスタ２８がオフ状態となる。これにより、一連のシャッター走査の動作が完了する。

この状態で、光電変換素子２４Ａ、２４Ｂへの所定期間の電荷蓄積を行った後、１行毎に若しくは複数行毎に、単位画素１０から光電変換素子２４Ａ、２４Ｂの蓄積電荷に基づく信号の読み出し、すなわち読み出し走査を行う。水平同期信号ＨＤに同期して、時刻ｔ４において、信号ＰＲＥＳがハイレベルとされ、リセットＭＯＳトランジスタ２８がオン状態となる。これにより、増幅ＭＯＳトランジスタ３０の入力ノードでもあるＦＤ領域３４がリセットＭＯＳトランジスタ２８を介して電源電圧線に電気的に接続され、増幅ＭＯＳトランジスタ３０の入力ノードがリセットレベルの電位にリセットされる。同じく時刻ｔ４において、信号ＰＣ０Ｒがハイレベルとされ、スイッチ４８が導通状態となる。これにより、演算増幅器４６の出力端子と反転入力端子とを短絡して演算増幅器４６をバッファ状態とする。

時刻ｔ５において、信号ＰＳＥＬがハイレベルとされ、選択ＭＯＳトランジスタ３２がオン状態となる。これにより、増幅ＭＯＳトランジスタ３０は、ソースには列信号線４０を介して電流源４２からバイアス電流が供給された状態となり、ソースフォロワ回路を構成する。そして、これによって、列読み出し回路１６には、増幅ＭＯＳトランジスタ３０の入力ノードがリセットレベルの電位であるときの信号（リセット信号）が、選択ＭＯＳトランジスタ３２及び列信号線４０を介して出力される。列読み出し回路１６に入力されたリセット信号は、入力容量Ｃ０を介して、基準電圧の出力をバッファする状態となっている演算増幅器４６の反転入力端子に入力される。

時刻ｔ６において、信号ＰＲＥＳがローレベルとなり、リセットＭＯＳトランジスタ２８がオフ状態となる。これにより、増幅ＭＯＳトランジスタ３０の入力ノードのリセット動作を解除する。

時刻ｔ７において、信号ＰＣ０Ｒがローレベルとなり、スイッチ４８が非導通状態となる。これにより、演算増幅器４６の帰還経路には負荷容量Ｃｆが接続された状態となり、入力容量Ｃ０と負荷容量Ｃｆとの比（Ｃ０／Ｃｆ）によって決定されるゲインに応じて増幅されたリセット信号が、演算増幅器４６の出力端子から出力される。

次いで、時刻ｔ１０において、信号ＰＴＸＡがハイレベルとなり、転送ＭＯＳトランジスタ２６Ａがオン状態となる。これにより、電荷蓄積期間に光電変換素子２４Ａにおいて光電変換によって生成された信号電荷がＦＤ領域３４に転送される。そして、列信号線４０には、光電変換素子２４Ａから転送された信号電荷の量に応じた増幅ＭＯＳトランジスタ３０の入力ノードの電位に基づく画素信号が、選択ＭＯＳトランジスタ３２を介して出力される。

単位画素１０から列信号線４０を介して画素信号を列読み出し回路１６に出力した後、時刻ｔ１１において、信号ＰＴＸＡがローレベルとなる。演算増幅器４６は、単位画素１０から入力容量Ｃ０を介して入力された画素信号を、入力容量Ｃ０と負荷容量Ｃｆとの比（Ｃ０／Ｃｆ）によって決定されるゲインに応じて増幅し、出力端子から出力する。この画素信号を、以下、「Ａ信号」と表記する。

次いで、時刻ｔ１４において、信号ＰＴＸＢがハイレベルとなり、転送ＭＯＳトランジスタ２６Ｂがオン状態となる。これにより、ＦＤ領域３４には、光電変換素子２４Ｂにおいて光電変換によって生成された信号電荷がＦＤ領域３４に転送され、その結果、光電変換素子２４Ａ、２４Ｂの信号電荷総量が前記ＦＤ領域３４に蓄積される。列信号線４０には、この光電変換素子２４Ａ、２４Ｂの信号電荷の総量に応じた増幅ＭＯＳトランジスタ３０の入力ノードの電位に基づく画素信号が、選択ＭＯＳトランジスタ３２を介して出力される。

単位画素１０から列信号線４０を介して画素信号を列読み出し回路１６に出力した後、時刻ｔ１５において、信号ＰＴＸＢがローレベルとなる。演算増幅器４６は、単位画素１０から入力容量Ｃ０を介して入力された画素信号を、入力容量Ｃ０と負荷容量Ｃｆとの比（Ｃ０／Ｃｆ）によって決定されるゲインに応じて増幅し、出力端子から出力する。この画素信号を、以下、「Ａ＋Ｂ信号」と表記する。Ａ＋Ｂ信号は、複数の光電変換素子２４Ａ及び２４Ｂの電荷に基づくデータが合成されたデータである。

増幅器４４から出力されたリセット信号、Ａ信号及びＡ＋Ｂ信号は、アナログデジタル変換部５２によりデジタル信号に変換された後、メモリ１８に蓄積される。メモリ１８に蓄積された各列のこれらデジタル信号は、水平走査回路１４からの制御信号に従って順次読み出される。列読み出し回路１６がアナログデジタル変換部５２を有していない場合は、出力アンプ若しくはバッファを通して、各列の信号が順次読み出される。

焦点検出用の信号には、このようにして読み出された光電変換素子２４Ａの信号電荷に基づくＡ信号と、光電変換素子２４Ｂの信号電荷に基づくＢ信号とが用いられる。Ｂ信号は、光電変換素子２４Ａ及び光電変換素子２４Ｂの信号電荷に基づく信号（Ａ＋Ｂ信号）からＡ信号を差し引くことにより算出される。

しかしながら、図５に示すように、Ａ信号を取得する時刻（時刻ｔ１０〜時刻ｔ１１）と、Ａ＋Ｂ信号を取得する時刻（時刻ｔ１４〜時刻ｔ１５）とは、異なっている。また、光電変換素子２４Ａの信号電荷をＦＤ領域３４に転送してから光電変換素子２４Ａ、２４Ｂの信号電荷をＦＤ領域３４に転送するまでの間に、増幅ＭＯＳトランジスタ３０の入力ノードのリセットは行われない。このため、Ａ信号を取得するまでの光電変換素子２４Ａ、２４Ｂの露光時間と、Ａ＋Ｂ信号を取得するまでの光電変換素子２４Ａ、２４Ｂの露光時間との間には、時間差ｄｔが存在する（図５参照）。したがって、時刻ｔ１４〜時刻ｔ１５において読み出すＡ＋Ｂ信号には、時間差ｄｔの間に増加したＦＤ領域３４の暗電流成分が重畳されることになる。

以上は、焦点検出用信号（Ａ信号）と画像形成用信号（Ａ＋Ｂ信号）とを取得する場合についての説明であるが、２つの焦点検出用信号（Ａ信号及びＢ信号）を独立して読み出す場合がある。その場合、撮像素子１０３から取得したＡ信号とＢ信号を後程デジタル信号処理で画像形成用信号（Ａ＋Ｂ信号）に生成する場合と、前記ＦＤ領域３４で電荷の状態で蓄積して得る場合と、その両方をライン単位で混成してフレーム画像を得る場合がある。その場合には、同様の信号レベル補正が必要である。２つの焦点検出用信号（Ａ信号及びＢ信号）を独立して読み出す場合には、例えば図６に示すように、最初の１水平周期で光電変換素子２４Ａの信号電荷から前記Ａ信号を取得し、つづく１水平周期で光電変換素子２４Ｂの信号電荷からＢ信号を取得する。このようにすることで、Ａ信号、Ｂ信号夫々の読み出しに対する増幅ＭＯＳトランジスタ３０の入力ノードのリセット状態を等しくすることが出来る。図６中の１水平周期中の時刻ｔ４〜ｔ１１と、つづく１水平周期中の時刻ｔ４'〜ｔ１１’とは、起点となる夫々のＨＤに対しては同時刻である。Ａ信号及びＢ信号を夫々読み出して、撮像素子１０３の後段でデジタル信号処理として画像形成用信号（Ａ＋Ｂ）を取得することができる。その場合、信号処理回路１０４内の像データ分離部１０４０等に、Ａ信号とＢ信号を合成する手段が必要となり、処理実施時には暗電流成分は２倍に悪化する。

これら図５、図６に記載の読み出し制御によって得た際の暗電流成分の悪影響は、例えばオフセット成分のクランプ処理において横縞の発生原因となり、記録画像の画質を低下させる。本実施形態では、フレームデータ内の黒レベルの異なるラインを含む要因として、撮像面位相差ＡＦ向けの駆動・制御を例示しているが、他の要因によるものであっても適用できるものである。

図７は、光電変換素子２４Ａ、２４Ｂの信号電荷を同時にＦＤ領域３４に取得した場合の、本実施形態の撮像装置１の画像形成用信号読み出し駆動方法を示すタイミングチャートである。時刻ｔ１〜ｔ７の動作は、図５の動作と同じである。そして、時刻ｔ１０において、信号ＰＴＸＡ、ＰＴＸＢがハイレベルとなり、転送ＭＯＳトランジスタ２６Ａ、２６Ｂがオン状態となる。そして、時刻ｔ１１において、信号ＰＴＸＡ、ＰＴＸＢがローレベルとなり、転送ＭＯＳトランジスタ２６Ａ、２６Ｂがオフ状態となる。これにより、画像形成用信号（Ａ＋Ｂ信号）を得ることができる。

ここで、記録用フレームデータを撮像中に、焦点検出用信号（Ａ信号）を取得して、記録動作と合焦制御とを並行して行う場合を考える。このときに、図１の撮像素子１０３と信号処理回路１０４との転送帯域を抑えるために、焦点検出用信号（Ａ信号）を全ライン転送しないで任意のラインでのみ転送する制御を考える。図８はそのような制御状態での撮像素子１０３のフレーム読み出しのデータ状態を示す。図８は、横方向のライン８００，８０１，８０２等が図５（図６、図７等）の信号ＨＤの１周期中に読み出される１ライン分のデータを表し、それを垂直方向に連続したフレームデータとして表現している。

図８のｎライン目（図８の＜ｌｉｎｅｎ＞と記載）から、ｎ＋４ライン目（図８の＜ｌｉｎｅｎ＋４＞と記載）のデータについて説明する。図８のライン８００は、図７に記載の駆動方法で取得された画像形成用信号（Ａ＋Ｂ信号）の読み出しライン（以下、通常ラインと表記）であり、ライン８００のデータは信号処理回路１０４内のＡＦ用信号処理パスには使用されない。図８のライン８０１は、図５に記載の駆動方法で取得された焦点検出用信号（Ａ信号）の読み出しライン（以下、第１の視差ラインと表記）であり、ＡＦ用信号処理パスを通る信号である。図８のライン８０２は、図５に記載の駆動方法で取得された画像形成用信号（Ａ＋Ｂ信号）の読み出しライン（以下、第２の視差ラインと表記）である。

垂直走査回路１２は、読み出し手段であり、通常ライン８００に対応する単位画素１０と、第２の視差ライン８０２に対応する単位画素１０とを異なる駆動方法で読み出す。垂直走査回路１２は、図７の駆動方法により、通常ライン８００に対応する単位画素１０では、複数の光電変換素子２４Ａ及び２４Ｂの電荷に基づくデータを合成したＡ＋Ｂ信号のみを読み出す。これに対し、垂直走査回路１２は、図５の駆動方法により、第２の視差ライン８０２に対応する単位画素１０では、一部の光電変換素子２４Ａの電荷に基づくＡ信号と、複数の光電変換素子２４Ａ及び２４Ｂの電荷に基づくデータを合成したＡ＋Ｂ信号を読み出す。通常ライン８００は第１のラインデータであり、第２の視差ライン８０２は第２のラインデータである。

像データ分離部１０４０は、第１の視差ライン８０１のＡ信号と、第２の視差ライン８０２のＡ＋Ｂ信号とを差分処理し（実際には輝度飽和信号に対する対策等を含む）、Ｂ信号を生成して、Ａ信号及びＢ信号を、ＡＦ用信号処理パスに向けて出力する。記録系画像信号としては、像データ分離部１０４０は、通常ライン８００のＡ＋Ｂ信号と第２の視差ライン８０２であるＡ＋Ｂ信号とを図１のクランプ処理回路１０４１へと出力する。このとき、該クランプ処理回路１０４１が受信するフレームデータは、図９のようになる。

図９は、撮像素子１０３の画素アレイに対応し、図１のクランプ処理回路１０４１が受信する処理フレームの状態を示す。フレームデータ９００は、クランプ処理回路１０４１が受信するフレームデータである。領域９０１は、受光部２４を光学的に遮光したＯＢ画素（基準画素）が配置されたＯＢ画素領域（基準画素領域）中の黒レベル推定のための検出領域である。ＯＢ画素は、光学的黒画素である。領域９０２は、光学的に遮光されていない記録画像としての有効画素の領域である。複数の単位画素１０は、領域９０１のＯＢ画素と領域９０２の有効画素に分けられる。ライン８００は、図８の通常ライン８００として取得した画像形成用信号（Ａ＋Ｂ信号）データのラインである。ＯＢ画素データ（光学的黒画素データ）８１０は、通常ライン８００の読み出し時の黒レベル推定のための検出領域９０１中のＯＢ画素（Ａ＋Ｂ信号）データである。ライン８０２は、図８の第２の視差ライン８０２として取得した画像形成用信号（Ａ＋Ｂ信号）データのラインである。ＯＢ画素データ８１２は、第２の視差ライン８０２中の黒レベル推定のための検出領域９０１中のＯＢ画素（Ａ＋Ｂ信号）データである。

図１０は、図９のフレームデータ９００の検出領域９０１において垂直方向に画素信号レベルの一次元写像として求めた抽出黒レベルの例を示す。目標黒レベルは、クランプ処理回路１０４１でクランプした補正結果がそれに近付くように期待する値である。図１０では、フレームデータ９００に対して垂直方向のシェーディングの存在を想定して、検出領域９０１のＯＢ画素データ（黒レベル）として図中の曲線を例示する。また、第２の視差ライン８０２のＯＢ画素データ（黒レベル）８１２は、通常ライン８００のＯＢ画素データ（黒レベル）８１０に対して、オフセット段差が存在する。このオフセット段差は、実際の記録画像においても図９のフレームデータ９００のように横縞となって画質の低下を招く。

図１１は、クランプ処理回路１０４１の構成例を示す図である。以下、クランプ処理回路１０４１の信号処理方法を説明する。クランプ処理回路１０４１は、黒レベル推定のための検出領域９０１を走査し、ＯＢ画素データ８１０及び８１２の夫々の黒レベルを推定し、有効領域９０２の有効画素を補正する。積算器２０１は、加算器とレジスタを有し、検出領域９０１の通常ライン８００の複数のＯＢ画素データ８１０の値を積算する。通常ライン８００のＯＢ画素データ８１０の画素の位置認識は、図１１のＳＳＧ（Synchronous Signal Generator）２１０の指示による。ＳＳＧ２１０は、入力フレームデータの有効状態を計数して、フレーム入力の水平・垂直方向の処理位置を把握する。ＳＳＧ２１０は、フレーム状態を把握することで、ライン処理や領域処理の変更のためのイベントやステータス信号を生成・出力する。パラメータのマスク状態（図１１中ＡＮＤ素子２１３、２１４）及び、出力切替セレクタ２０９の制御指示以外のＳＳＧ２１０出力信号線は、図が煩雑になるので不図示とする。

除算器２０２は、積算器２０１の積算結果値を通常ライン８００の複数のＯＢ画素データ８１０の数で除算することにより正規化する。ここでの除算は、除数が２のべき乗であれば、信号ビットの右シフトで実現できる。除算器２０２は、ＯＢ画素データ８１０の１ライン分の積算器２０１の積算結果を除算し、１ライン毎の黒レベル推定値の代表値を得る。本実施形態では、図１０のような垂直方向にシェーディングを持つ黒レベル推定として例示する。この場合、垂直シェーディングを鑑み、ライン平均の履歴をある程度の範囲で抑えたいので、図１１のクランプ処理回路１０４１の構成としては、シェーディングの影響を履歴として長引かせないような移動平均値として取得する回路構成を例示する。平均化手段２０３は、除算器２０２で得た１ラインの黒レベル代表値を、直前までの各ライン代表値との移動平均をとる。すなわち、平均化手段２０３は、フレームデータの中の複数の通常ライン８００に対して、除算器２０２により除算されたデータを平均化し、推定の黒レベルｓｉｇ＿２０３を出力する。積算器２０１と除算器２０２と平均化手段２０３は、第１の黒レベル推定手段であり、通常ライン８００の黒レベルｓｉｇ＿２０３を推定する。

図９の有効領域９０２における通常ライン８００の有効画素データ処理では、以下の処理を行う。減算器２０４は、補正手段であり、通常ライン８００の有効画素データｓｉｇ＿２１６から平均化手段２０３が出力する黒レベルｓｉｇ＿２０３を減算することにより、通常ライン８００の補正された有効画素データを出力する。すなわち、減算器２０４は、平均化手段２０３が出力する黒レベルｓｉｇ＿２０３を基に、通常ライン８００の有効画素データｓｉｇ＿２１６を補正する。遅延素子２１６は、入力データと補正パラメータ更新タイミングとを整合させるための遅延素子であり、シフトレジスタ等で構成される。論理素子２１３は、ＳＳＧ２１０指示により有効領域９０２中の通常ライン８００の時に平均化手段２０３の結果値を減算器２０４へと伝達し、それ以外のときには０値にマスクする動作を行うＡＮＤ素子である。加算器２０８は、減算器２０４の出力値に対して、ペデスタルレベルとしてレジスタ２１２に設定したポストセットアップ値を加算し、通常ライン８００の補正された有効画素データｓｉｇ＿２０８を出力する。

第２の視差ライン８０２のデータ入力時には、ＳＳＧ２１０は、フィルタ回路２０６の処理を進捗するように指示信号を出力する。フィルタ回路２０６は、巡回型（ＩＩＲ）のローパスフィルタ（ＬＰＦ）を例示し、その時定数はＣＰＵ１００経由のレジスタ設定で変更できるように構成しても良い。減算器２０５は、第２の視差ライン８０２の検出領域９０１上のＯＢ画素データ８１２と、平均化手段２０３が出力するＯＢ画素データ８１０の黒レベルｓｉｇ＿２０３との差分ｓｉｇ＿２０５を演算する。そして、減算器２０５は、その差分（オフセット段差）ｓｉｇ＿２０５をフィルタ回路２０６へ出力する。フィルタ回路２０６は、減算器２０５により演算された差分ｓｉｇ＿２０５を入力し、第２の視差ライン８０２の黒レベルｓｉｇ＿２０６を出力する。フィルタ回路２０６の詳細は、後に図１４を参照しながら説明する。遅延素子２１５、減算器２０５及びフィルタ回路２０６は、黒レベル推定手段であり、第２の視差ライン８０２の黒レベルｓｉｇ＿２０６を推定する。

有効領域９０２における第２の視差ライン８０２の有効画素データ処理では、以下の処理を行う。減算器２０７は、補正手段であり、第２の視差ライン８０２の有効画素データｓｉｇ＿２１７から、フィルタ回路２０６が出力する黒レベルｓｉｇ＿２０６を減算し、第２の視差ライン８０２の補正された有効画素データｓｉｇ＿２０７を出力する。減算器２０７は、フィルタ回路２０６が出力する黒レベルｓｉｇ＿２０６を基に、第２の視差ライン８０２の有効画素データｓｉｇ＿２１７を補正する。論理素子２１４は、第２の視差ライン８０２における有効領域９０２中の有効画素データ処理時に、フィルタ回路２０６の出力値を減算器２０７に伝達し、それ以外のときには０値にマスクする動作を行うＡＮＤ素子である。遅延素子２１７は、入力データと補正パラメータ更新タイミングとを整合させるための遅延素子であり、シフトレジスタ等で構成される。また、遅延素子２１５は、入力データを遅延して減算器２０５に出力する。遅延素子２１７の遅延量は、遅延素子２１５の遅延量とフィルタ回路２０６の遅延量の総和に等しく設定される。また、遅延素子２１７の遅延量と遅延素子２１６の遅延量とを等価にすることで、通常ライン８００と第２の視差ライン８０２との切り替え時に水平方向のデータの出現位置は同一となり、フレームデータ９００として成立する。また、ＡＮＤ素子２１３，２１４は、有効領域９０２中の切り替えを制御したが、クランプ処理回路１０４１以降でＯＢ画素データを用いる場合には、検出領域９０１中のＯＢ画素データに対して直近の値で補正をかけるようなＳＳＧ２１０の構成を採用してもよい。

セレクタ２０９は、選択手段であり、通常ライン８００の補正された有効画素データｓｉｇ＿２０８又は第２の視差ライン８０２の補正された有効画素データｓｉｇ＿２０７を選択する。ＳＳＧ２１０は有効データを認識する手段とその認識サイクルを計数する手段を具備（不図示）する。そして、ＳＳＧ２１０は、フレームデータ９００の入力量を計数し、その計数の値に応じて、通常ライン８００のタイミングでは指示値０をセレクタ２０９に出力し、第２の視差ライン８０２のタイミングでは指示値１をセレクタ２０９に出力する。セレクタ２０９は、指示値０では通常ライン８００の補正された有効画素データｓｉｇ＿２０８を選択し、指示値１では第２の視差ライン８０２の補正された有効画素データｓｉｇ＿２０７を選択して、出力ｓｉｇ＿２０９を得る。レジスタ２１１は、フィルタ回路２０６の結果値を一時記憶する記憶手段である。レジスタ２１１は、フィルタ回路２０６によるＯＢ画素データ８１２の黒レベル推定値を１フレームの完了時に更新し、次期フレーム走査開始時にフィルタ回路２０６に初期値として書き戻すように用いる。また、レジスタ２１１は、ＣＰＵ１００から初期値を更新することも可能である。

図１８は、図１１のクランプ処理回路１０４１の処理を示すタイミングチャートである。信号ｓｉｇ＿２００は、クランプ処理回路１０４１への入力画像信号であり、図９のフレームデータ９００の転送状態である。信号ｓｉｇ＿２００には、図９のフレーム構成の通常ライン８００のＯＢ画素データ８１０、通常ライン８００の画像形成用データ、第２の視差ライン８０２のＯＢ画素データ８１２、第２の視差ライン８０２の画像形成用データを含む。信号ｓｉｇ＿２０１は、積算器２０１の出力信号であり、検出領域９０１の右端の処理後は次期ラインの検出開始までは値を保持する。信号ｓｉｇ＿２０２は、除算器２０２の出力信号であり、信号ｓｉｇ＿２０１を被除数として、事前に決定した除数で除算した結果値を示す。信号ｓｉｇ＿２０１，ｓｉｇ＿２０２は、第２の視差ライン８０２の走査時には参照しない（don't care扱い）。信号ｓｉｇ＿２０３は、平均化手段２０３の出力信号であり、任意のラインの検出領域９０１の完了毎に除算器２０２の結果の垂直ライン平均値を演算し出力した結果値を示す。信号ｓｉｇ＿２０３は、第２の視差ライン８０２の走査時には更新しない。

信号ｓｉｇ＿２０６は、フィルタ回路２０６の出力信号である。信号ｓｉｇ＿２０６は、第２の視差ライン８０２の走査時に更新する。信号ｓｉｇ＿２１６，ｓｉｇ＿２１７は、前述のような遅延関係を持った信号ｓｉｇ＿２００の遅延データである。両信号の出力タイミングは揃えられ、図１８のように、同一の信号状態となる。信号ｓｉｇ＿２１３，ｓｉｇ＿２１４は、ＳＳＧ２１０が発行する補正パラメータマスク用のステータス信号である。信号ｓｉｇ＿２１３は、通常ライン８００の画像形成用データにオフセット補正をするように状態を制御する。ここでは、信号ｓｉｇ＿２１３が１値状態で補正パラメータ有効と定義し、信号ｓｉｇ＿２１３が０値状態で補正パラメータは０値にマスクされオフセット補正は行わない。同様に、信号ｓｉｇ＿２１４は、第２の視差ライン８０２の画像形成用データにオフセット補正をするように状態を制御し、信号ｓｉｇ＿２１３と同様に、０値状態で補正パラメータは０値にマスクされオフセット補正は行わない。

信号ｓｉｇ＿２０８は、通常ライン８００の処理時の補正結果信号であり、信号ｓｉｇ＿２０７は、第２の視差ライン８０２の処理時の補正結果信号である。信号ｓｉｇ＿２１０は、ＳＳＧ２１０により生成される補正ラインのスタータス信号である。信号ｓｉｇ＿２１０が１値のときに第２の視差ライン８０２の走査としてセレクタ２０９は信号ｓｉｇ＿２０７を信号ｓｉｇ＿２０９として出力し、それ以外では信号ｓｉｇ＿２０８を信号ｓｉｇ＿２０９として出力する。この信号ｓｉｇ＿２０９がクランプ処理回路１０４１の出力信号になる。

クランプ処理回路１０４１の黒レベル推定値は、図２の増幅器４４のゲイン値の変更時にレベル変動する。図１２（ａ）は、増幅器４４のゲイン値１２０１とそのときの代表黒レベル１２０２との関係を示す。代表黒レベル１２０２は、任意に設定した温度環境下での事前に複数取得した工程値の平均値であり、ＲＯＭ１０６に保持しておく。増幅器４４のゲイン値が切り替わると、フレームを跨いで安定していたフィルタ回路２０６の黒レベル推定値は、新たな目標値に向かって、回路の時定数に係る時間経過を要して、レベル変動する。時定数分の不安定な期間を短縮するためには、レジスタ２１１に対して、増幅器４４の次期設定ゲイン値に対応した代表黒レベルをＣＰＵ１００経由で書き込むことで対応する。

ここで、代表黒レベル１２０２は、事前に設定した任意の温度（常温等）時の代表値である。暗電流起因の黒レベルの温度特性を加味しなければいけないときに、実動作時の撮像素子１０３の温度と乖離している代表黒レベル１２０２をそのまま適用するのでは、撮像素子１０３の温度特性追従を果たさない。そこで、本実施形態の特徴である温度特性追従をするための補償パラメータとして、図１２（ｂ）に示すように、増幅器４４のゲイン値１２０３に対する温度補償係数１２０４〜１２０８を提供する。ここで、フィルタ回路２０６における黒レベル推定値の増幅器４４のゲイン値変更に対する温度特性追従の継承について説明する。

前述のように、本実施形態では、クランプ処理回路１０４１の構成、通常ライン８００の黒レベル推定は１フレーム完結するように、また、第２の視差ライン８０２の黒レベル推定は複数フレームで継承するように構成している。黒レベル検出領域９０１において、第２の視差ライン８０２は出現頻度が低く、フィルタ回路２０６はＩＩＲフィルタ構成である。図１０の黒レベルはオフセット性の暗電流成分を含み、温度特性（温度上昇で黒レベルも大きくなる）を持つ。

図１３は、フィルタ回路２０６の連続フレーム処理において、ＣＰＵ１００が行う温度補償処理のフローチャートである。温度補償処理は、ＲＯＭ１０６に格納されたプログラムの１処理として実施される。本実施形態では、ＣＰＵ１００は、フレーム処理終了時にレジスタ２１１にフィルタ回路２０６の黒レベル推定値を格納し、次期フレーム開始時に読み出してフィルタ回路２０６へ再設定する。このときのレジスタ２１１の更新及びフィルタ回路２０６への書き戻しは、ＳＳＧ２１０が行えば良い。レジスタ２１１に対する温度補償用の初期値格納・更新は、ＳＳＧ２１０によるレジスタ２１１値更新からフィルタ２０６への書き戻しの間に、ＣＰＵ１００がプログラムを実施する。

ステップＳ１００では、ＣＰＵ１００は、次期フレーム撮像における増幅器４４のゲイン値の変更があるか否かを判定し、変更があると判定した場合にはステップＳ１０１に処理を進め、変更がないと判定した場合には温度補償処理を終了する。ステップＳ１０１では、ＣＰＵ１００は、レジスタ２１１の格納値を読み出す。次に、ステップＳ１０２では、ＣＰＵ１００は、現フレーム処理に用いたゲイン値（変更前のゲイン値）１２０１に対する代表黒レベル１２０２を図１２（ａ）のテーブルから読み出す。次に、ステップＳ１０３では、ＣＰＵ１００は、レジスタ２１１の値及び代表黒レベル１２０２の比率ｒａｔｉｏを計算する。次に、ステップＳ１０４では、ＣＰＵ１００は、増幅器４４に設定する次期ゲイン値（変更後のゲイン値）１２０１に対応した代表黒レベル１２０２を図１２（ａ）のテーブルから読み出す。

次に、ステップＳ１０５〜Ｓ１１５では、ＣＰＵ１００は、温度補償係数の決定処理を実行する。図１２（ｃ）は、温度変化指標１２０９を示し、先程計算した比率ｒａｔｉｏの大小関係から現在温度と基準温度との乖離を関係付けたものであり、次期ゲイン値によるフレーム処理時の代表黒レベルの初期値の温度補償係数を推定するのに用いる。本実施形態では、この温度変化指標１２０９は、センサー製造過程またはセンサー評価過程で取得する工程値である。プロセス上の傾向や、製造上の個体差を鑑みて、数値自体は固定されない。また、ここでは、温度変化指標１２０９は、ｄｉｖ（Ａ）〜ｄｉｖ（Ｅ）の５領域に分割しているが、これも実情に合わせれば良い。

ステップＳ１０５では、ＣＰＵ１００は、比率ｒａｔｉｏが温度変化指標ｄｉｖ（Ａ）よりも小さいか否かを判定し、小さいと判定した場合にはステップＳ１０６に処理を進め、小さくないと判定した場合にはステップＳ１０７に処理を進める。ステップＳ１０６では、ＣＰＵ１００は、基準黒レベルをそのまま適用するものとして、調整値を１に設定し、ステップＳ１１６に処理を進める。調整値は、図１２（ｂ）の温度補償係数テーブルからの選択値を差すが、ステップＳ１０６の時のみ特別に参照テーブルなしで、１に設定する。

ステップＳ１０７では、ＣＰＵ１００は、比率ｒａｔｉｏが温度変化指標に対して、ｄｉｖ（Ａ）≦ｒａｔｉｏ＜ｄｉｖ（Ｂ）の条件を満たすか否かを判定する。そして、ＣＰＵ１００は、条件を満たすと判定した場合にはステップＳ１０８に処理を進め、条件を満たさないと判定した場合にはステップＳ１０９に処理を進める。ステップＳ１０８では、ＣＰＵ１００は、調整値として、図１２（ｂ）の温度補償係数１２０４のうちの次期ゲイン値１２０３に対応する値を設定し、ステップＳ１１６に処理を進める。

ステップＳ１０９では、ＣＰＵ１００は、比率ｒａｔｉｏが温度変化指標に対して、ｄｉｖ（Ｂ）≦ｒａｔｉｏ＜ｄｉｖ（Ｃ）の条件を満たすか否かを判定する。そして、ＣＰＵ１００は、条件を満たすと判定した場合にはステップＳ１１０に処理を進め、条件を満たさないと判定した場合にはステップＳ１１１に処理を進める。ステップＳ１１０では、ＣＰＵ１００は、調整値として、図１２（ｂ）の温度補償係数１２０５のうちの次期ゲイン値１２０３に対応する値を設定し、ステップＳ１１６に処理を進める。

ステップＳ１１１では、ＣＰＵ１００は、比率ｒａｔｉｏが温度変化指標に対して、ｄｉｖ（Ｃ）≦ｒａｔｉｏ＜ｄｉｖ（Ｄ）の条件を満たすか否かを判定する。そして、ＣＰＵ１００は、条件を満たすと判定した場合にはステップＳ１１２に処理を進め、条件を満たさないと判定した場合にはステップＳ１１３に処理を進める。ステップＳ１１２では、ＣＰＵ１００は、調整値として、図１２（ｂ）の温度補償係数１２０６のうちの次期ゲイン値１２０３に対応する値を設定し、ステップＳ１１６に処理を進める。

ステップＳ１１３では、ＣＰＵ１００は、比率ｒａｔｉｏが温度変化指標に対して、ｄｉｖ（Ｄ）≦ｒａｔｉｏ＜ｄｉｖ（Ｅ）の条件を満たすか否かを判定する。そして、ＣＰＵ１００は、条件を満たすと判定した場合にはステップＳ１１４に処理を進め、条件を満たさないと判定した場合にはステップＳ１１５に処理を進める。ステップＳ１１４では、ＣＰＵ１００は、調整値として、図１２（ｂ）の温度補償係数１２０７のうちの次期ゲイン値１２０３に対応する値を設定し、ステップＳ１１６に処理を進める。ステップＳ１１５では、ＣＰＵ１００は、ｄｉｖ（Ｅ）≦ｒａｔｉｏであるので、調整値として、図１２（ｂ）の温度補償係数１２０８のうちの次期ゲイン値１２０３に対応する値を設定し、ステップＳ１１６に処理を進める。

ステップＳ１１６では、ＣＰＵ１００は、次期フレーム処理のためのフィルタ回路２０６に設定する調整黒レベルとして、増幅器４４の次期ゲイン値１２０１に対応する代表黒レベル１２０２と、ステップＳ１０５〜Ｓ１１５で求めた調整値との積を演算する。すなわち、ＣＰＵ１００は、制御手段であり、比率ｒａｔｉｏに応じた調整値で、増幅器４４の次期ゲイン値１２０１に対応する代表黒レベル１２０２を調整する。次に、ステップＳ１１７では、ＣＰＵ１００は、制御手段であり、ステップＳ１１６の演算結果の黒レベルをレジスタ２１１に書き込み、温度補償処理を終了する。本実施形態では、上記の処理を１フレーム撮像完了毎に実施する。本実施形態では、温度変化を代表黒レベル１２０２と、現レジスタ２１１の値との比率ｒａｔｉｏで求めたが、温度変化が緩やかであり、ゲイン設定毎の変化が少ない場合には、両者の差で行っても良い。

図１１の積算器２０１は、レジスタ構成であり、指定領域の有効データをレジスタ値に積算する。また、図１１の除算器２０２は、その構成を限定しないが、例えば検出領域９０１の水平方向画素数（積算画素数）が２のべき乗であれば、信号に対するビットシフトだけで構成可能である。２のべき乗ではなく、厳密な除算をする場合には、特開２０１３−１４２５７０号公報の図３に記載のような除算器で対応できる。そのような場合、同期回路における除算処理には複数サイクルを要するので、例えば、図１１に記載の遅延素子の遅延因子としてタイミング調整を考慮する対象となる。

図１１のフィルタ回路２０６は、ＩＩＲフィルタとして一般的な構成で良いが、本実施形態では、レジスタ２１１の値による初期化を含むので、その説明をする。図１４は、図１１のフィルタ回路２０６の構成例を示す。ＩＩＲフィルタ２０６の一般式としては、入力Ｘ、出力Ｙに対して、任意のｎ番目の処理は、次式（１）で表され、式（１）を展開すると、次式（２）が得られる。入力Ｘは差分ｓｉｇ＿２０５であり、出力Ｙは黒レベルｓｉｇ＿２０６である。
Ｙｎ＝Ａ・Ｘｎ＋（１−Ａ）・Ｙｎ−１・・・（１）
Ｙｎ＝Ａ・（Ｘｎ−Ｙｎ−１）＋Ｙｎ−１・・・（２）

図１４のフィルタ回路２０６は、式（２）に対応した回路である。図１４の加算器３０３は、式（２）の加算ための加算器である。乗算器３０４は、係数Ａをゲイン値とする乗算器である。減算器３０５は、式（２）の減算のための減算器である。レジスタ３０１は、フリップフロップ回路で構成される。レジスタ３０１は、クロックによる同期設計で例示する。論理素子３０２は、レジスタ３０１をリセットするためのＡＮＤゲートであり、信号ｓｉｇ＿３０６が１値となったときに、クロックに同期してレジスタ３０１を０値に初期化する。組み合わせロジック３０７は、信号ｓｉｇ＿３０４が１値となったときに信号ｓｉｇ＿２１１の値でレジスタ３０１を更新する。すなわち、レジスタ３０１は、信号ｓｉｇ＿３０４が１値となったときに、レジスタ２１１の黒レベルｓｉｇ＿２１１の値に更新される。組み合わせロジック３０６は、信号ｓｉｇ＿３０６＝ｓｉｇ＿３０４＝０値であり、かつ信号ｓｉｇ＿３０３が１値の場合に、レジスタ３０１を入力ｓｉｇ＿２０５に対して演算した値で更新する。信号ｓｉｇ＿２０５，ｓｉｇ＿２０６，ｓｉｇ＿２１１は、図１１の信号に等しい。信号ｓｉｇ＿３０３，ｓｉｇ＿３０４，ｓｉｇ＿３０６は、図１１に不図示である。以上のように、フィルタ回路２０６は、減算器２０５が出力する差分ｓｉｇ＿２０５とレジスタ２１１に記憶されている黒レベルｓｉｇ＿２１１を基に、第２の視差ライン８０２の黒レベルｓｉｇ＿２０６を出力する。

図１５は、上記の信号ｓｉｇ＿２０５，ｓｉｇ＿２０６，ｓｉｇ＿２１１，ｓｉｇ＿３０３，ｓｉｇ＿３０４，ｓｉｇ＿３０６のタイミングチャートである。前述のように、図１４のフィルタ回路２０６は、クロックによる同期設計で例示する。図１５のタイミングチャートでは、クロック表記を省略しているが、各信号はクロック同期した同相転送が成立しているものとする。

信号ｓｉｇ＿２０６は、レジスタ３０１の出力信号である。信号ｓｉｇ＿２０６は、信号ｓｉｇ＿３０６が１値になったクロック周期で初期化（ｒｅｓｅｔ）される。また、フィルタ回路２０６の出力値を記憶するレジスタ３０１は、初期化時及びレジスタ２１１の更新（増幅器４４のゲイン値の変更）時の信号ｓｉｇ＿３０４が１値になったクロック周期で、レジスタ２１１の黒レベルｓｉｇ＿２１１の値に更新される。信号ｓｉｇ＿２１１の値は、図１１のレジスタ２１１の出力値である。レジスタ３０１は、信号ｓｉｇ＿３０３が１値のときのクロック周期で、そのときの入力信号ｓｉｇ＿２０５の値と、現在のレジスタ３０１の値との、式（２）の演算を実施した結果値で更新される。

以上のように、フレームデータ９００は、通常ライン８００の数が第２の視差ライン８０２の数より多い。積算器２０１と除算器２０２と平均化手段２０３は、フレームデータ９００の中の複数の通常ライン８００に基づき、通常ライン８００の黒レベルｓｉｇ＿２０３を出力する。これに対し、遅延素子２１５と減算器２０５とフィルタ回路２０６は、複数のフレームデータ９００の第２の視差ライン８０２に基づき、第２の視差ライン８０２の黒レベルｓｉｇ＿２０６を出力する。

図１１の平均化手段２０３の構成は、一般的ではないので、図１６を用いて説明する。図１６は、平均化手段２０３のデジタル回路の構成例を示し、図１７はそのタイミングチャートを示す。本実施形態では、平均化手段２０３もシステム（少なくともクランプ処理回路１０４１）共通のクロックによる同期設計とする。

レジスタ５０１〜５０８は、シフトレジスタ構成を有し、１ライン分の検出処理完了時の黒レベル推定代表値を１ライン検出処理完了時に更新していく。本実施形態では、平均化手段２０３は、８ラインの移動平均を演算するような回路構成として例示する。図１６の信号ｓｉｇ＿２０２は、図１１の除算器２０２の出力値である。図１６の信号ｓｉｇ＿２０３は、平均化手段２０３の出力としての黒レベル推定値の垂直８ライン移動平均値である。

図１６の信号ｓｉｇ＿５０３は、検出領域９０１における１ライン処理完了後のイベント信号であり、除算器２０２の結果値が有効であることを示す。図１６の信号ｓｉｇ＿５０４は、８ライン平均計算時のシフトレジスタ５０１〜５０８の結果出力を選択するためのカウンタ値である。図１６の信号ｓｉｇ＿５０５は、シフトレジスタ５０１〜５０８の値を積算する期間を示すステータス信号である。図１６の信号ｓｉｇ＿５０６は、移動平均結果を更新するイベント信号である。信号ｓｉｇ＿５０７は、回路全体のレジスタの初期化を行うリセット信号である。図１６の信号ｓｉｇ＿５０８〜ｓｉｇ＿５１５は、シフトレジスタ５０１〜５０８のレジスタ値の夫々の保持値である。図１６の信号ｓｉｇ＿５１６は、シフトレジスタ値の信号ｓｉｇ＿５０８〜ｓｉｇ＿５１５の中の１つの選択結果信号である。図１６の信号ｓｉｇ＿５１７は、シフトレジスタ値の信号ｓｉｇ＿５０８〜ｓｉｇ＿５１５の積算結果値である。これら信号値は、図１７に示すようなタイミング関係を持つ。

信号ｓｉｇ＿５０３，ｓｉｇ＿５０４，ｓｉｇ＿５０５，ｓｉｇ＿５０６，ｓｉｇ＿５０７は、図１１では不図示であり、図１１のＳＳＧ２１０中でのフレームカウンタの状態からのイベント発生により生成される。また、リセット信号ｓｉｇ＿５０７は、フレーム処理開始前に一度イベントを発生すれば良いので、ＣＰＵ１００からのレジスタ（不図示）設定値を投入しても良い。

信号ｓｉｇ＿５０３は、前述のように、検出領域９０１の任意の１ライン完了イベントである。信号ｓｉｇ＿５０５は、上記のｓｉｇ＿５０３のイベントを受けてからクロック８サイクル分の周期を得るステータス信号である。また、信号ｓｉｇ＿５０５が１値状態の期間、信号ｓｉｇ＿５０４のカウンタ値は１インクリメントされていき、セレクタ５０９の出力値選択切替を実施する。この信号ｓｉｇ＿５０４を生成するカウンタ（不図示）及びｓｉｇ＿５０５の生成ロジックは、ＳＳＧ２１０内にあっても良いし、クランプ処理回路１０４１中にあっても良い。

図１６の加算器５１０は、レジスタ５１１に信号ｓｉｇ＿５０８〜ｓｉｇ＿５１５の値を積算していくために用いられる。このときの積算タイミングは、図１６の信号ｓｉｇ＿５０５によって与えられる（図１７の信号ｓｉｇ＿５０５参照）。レジスタ５１１は、回路全体のリセット信号ｓｉｇ＿５０７による他、信号ｓｉｇ＿５０３によっても初期化（０値）される（図１７の信号ｓｉｇ＿５１７参照）。レジスタ５１１に格納された信号ｓｉｇ＿５０８〜ｓｉｇ＿５１５の積算結果の信号ｓｉｇ＿５１７は、本実施形態では、８ライン分の移動平均として例示する。そのため、信号ｓｉｇ＿５１７は、１／８の演算として、信号を下位３ビット切り捨てして（図１６の「Ｒ３」は右３ビットシフトを示す）、信号ｓｉｇ＿５０６のタイミングで図１６のレジスタ５１２に格納する（図１７の信号ｓｉｇ＿２０３参照）。

また、本実施形態では、フィルタ回路２０６をＩＩＲフィルタで実施するように設定した。この場合、検出領域９０１中のＯＢ画素データ８１２の右端値がライン平均と乖離したような場合（微小キズ画素に当たった等）に、そのラインの黒レベル推定値に影響を及ぼす。そのような場合を回避するためのクランプ処理回路１０４１を図１９に示す。図１９に示すように、クランプ処理回路１０４１は、フィルタ回路２０６の入力を通常ライン８００の黒レベル推定値と、第２の視差ライン８０２のライン平均との差分で演算するようにする構成を有する。図１９の積算器２１９は、図１１の積算器２０１と同様の積算器である。図１９の除算器２２０は、図１１の除算器２０２と同様の除算器である。図１９の遅延素子２１８の遅延量は、遅延素子２１８、積算器２１９、除算器２２０及びフィルタ回路２０６の夫々の遅延量の総和が、図１９の遅延素子２１７の遅延量と等しくなるように設定される。

本実施形態によれば、通常ライン８００と第２の視差ライン８０２との間のオフセット段差を含むようなフレームデータ処理においても、オフセット段差の温度特性に追従することができ、安定したオフセット補正を実現可能である。クランプ処理回路１０４１は、通常ライン８００の黒レベルｓｉｇ＿２０３と第２の視差ライン８０２の黒レベルｓｉｇ＿２０６をそれぞれ推定し、通常ライン８００及び第２の視差ライン８０２の有効画素データを補正する。これにより、横縞の発生を抑制することができる。また、クランプ処理回路１０４１は、第２の視差ライン８０２の黒レベル推定を多くのフレームから得た信号に基いて継続して実施することで、オフセット段差の温度特性に追従することができ、安定したオフセット補正を行うことができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１撮像装置、１０４信号処理回路、２０１積算器、２０２除算器、２０３平均化手段、２０４，２０７減算器、２０８加算器、２１１，２１２レジスタ、２１３，２１４論理素子（ＡＮＤゲート）、２１５，２１６，２１７遅延素子、１０４１クランプ処理手段（クランプ処理回路）

Claims

複数の第１の光学的黒画素データ及び複数の第１の有効画素データを含む第１のラインデータと、複数の第２の光学的黒画素データ及び複数の第２の有効画素データを含む第２のラインデータとを有するフレームデータを入力する信号処理回路であって、
前記第１のラインデータの複数の第１の光学的黒画素データを基に、前記第１のラインデータの黒レベルを推定する第１の黒レベル推定手段と、
前記第２のラインデータの複数の第２の光学的黒画素データと前記第１の黒レベル推定手段により推定された前記第１のラインデータの黒レベルとを基に、前記第２のラインデータの黒レベルを推定する第２の黒レベル推定手段と
を有することを特徴とする信号処理回路。
さらに、前記第１の黒レベル推定手段により推定された黒レベルを基に、前記第１のラインの複数の第１の有効画素データを補正し、前記第２の黒レベル推定手段により推定された黒レベルを基に、前記第２のラインの複数の第２の有効画素データを補正する補正手段を有することを特徴とする請求項１に記載の信号処理回路。
前記第２の黒レベル推定手段は、前記第２のラインデータの複数の第２の光学的黒画素データと前記第１の黒レベル推定手段により推定された黒レベルとの差分を演算する減算手段を有することを特徴とする請求項１又は２に記載の信号処理回路。
前記第２の黒レベル推定手段は、前記減算手段により演算された差分を入力するフィルタ手段を有することを特徴とする請求項３に記載の信号処理回路。
前記第１の黒レベル推定手段は、
前記第１のラインの複数の第１の光学的黒画素データを積算する積算手段と、
前記積算手段により積算されたデータを前記複数の第１の光学的黒画素データの数で除算する除算手段と、
複数の第１のラインに対して、前記除算手段により除算されたデータを平均化する平均化手段とを有することを特徴とする請求項１乃至４のいずれか１項に記載の信号処理回路。
さらに、前記第１のラインでは、前記補正手段により補正された第１の有効画素データを選択し、前記第２のラインでは、前記補正手段により補正された第２の有効画素データを選択する選択手段と、
前記フレームデータの入力量を計数し、前記計数の値に応じて前記選択手段の選択を制御する計数手段とを有することを特徴とする請求項２に記載の信号処理回路。
初期値の黒レベル又は前記フィルタ手段が出力する黒レベルを記憶する記憶手段を有し、
前記フィルタ手段は、前記記憶手段に記憶されている黒レベルで初期化され、前記フィルタ手段に前記減算手段により演算された差分を入力することで、当該フィルタ手段の出力として前記第２のラインデータの黒レベルの推定値を取得することを特徴とする請求項４に記載の信号処理回路。
前記フレームデータは、前記第１のラインデータの数が前記第２のラインデータの数より多いことを特徴とする請求項１乃至７のいずれか１項に記載の信号処理回路。
前記第１の黒レベル推定手段は、前記フレームデータの中の複数の第１のラインデータに基づき、前記第１のラインデータの黒レベルを推定し、
前記第２の黒レベル推定手段は、複数の前記フレームデータにわたる第２のラインデータに基づき、前記第２のラインデータの黒レベルを推定することを特徴とする請求項８に記載の信号処理回路。
請求項７に記載の信号処理回路と、
光電変換により前記フレームデータに対応するデータを生成する複数の単位画素と、
前記複数の単位画素の信号を増幅する増幅手段とを有し、
前記記憶手段は、前記増幅手段のゲイン値が変更された場合に、前記増幅手段のゲイン値に応じた黒レベルを記憶し、
前記フィルタ手段は、前記増幅手段のゲイン値が変更された場合に、前記フィルタ手段の出力が前記記憶手段に記憶されている黒レベルに初期化されることを特徴とする撮像装置。
さらに、前記増幅手段のゲイン値が変更された場合に、前記記憶手段に記憶されている黒レベルと前記増幅手段の変更前のゲイン値に応じた黒レベルとに応じて、前記増幅手段の変更後のゲイン値に応じた黒レベルを調整し、前記調整した黒レベルを前記記憶手段に書き込む制御手段を有することを特徴とする請求項１０に記載の撮像装置。
前記制御手段は、前記記憶手段に記憶されている黒レベルと前記増幅手段の変更前のゲイン値に応じた黒レベルとの比率と、前記増幅手段の変更後のゲイン値とに応じて、補償係数を決定し、前記増幅手段の変更後のゲイン値に応じた黒レベルと前記補償係数との積の黒レベルを前記記憶手段に書き込むことを特徴とする請求項１１に記載の撮像装置。
前記複数の単位画素の各々は、各々が光を電荷に変換する複数の光電変換手段を有し、
前記複数の第１の光学的黒画素データと前記複数の第１の有効画素データと前記複数の第２の光学的黒画素データと前記複数の第２の有効画素データは、前記複数の光電変換手段の電荷に基づくデータが合成されたデータであり、
さらに、前記第１のラインデータに対応する前記単位画素と前記第２のラインデータに対応する前記単位画素とを異なる方法で読み出す読み出し手段を有することを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
前記読み出し手段は、前記第１のラインデータに対応する前記単位画素では、前記複数の光電変換手段の電荷に基づくデータを合成したデータのみを読み出し、前記第２のラインデータに対応する前記単位画素では、前記複数の光電変換手段のうちの一部の光電変換手段の電荷に基づくデータと前記複数の光電変換手段の電荷に基づくデータを合成したデータを読み出すことを特徴とする請求項１３に記載の撮像装置。
複数の第１の光学的黒画素データ及び複数の第１の有効画素データを含む第１のラインデータと、複数の第２の光学的黒画素データ及び複数の第２の有効画素データを含む第２のラインデータとを有するフレームデータを入力する信号処理回路であって、
前記第１のラインデータの複数の第１の光学的黒画素データを基に、前記第１のラインデータの黒レベルを推定する第１の黒レベル推定手段と、
前記第２のラインデータの複数の第２の光学的黒画素データを基に、前記第２のラインデータの黒レベルを推定する第２の黒レベル推定手段とを有し、
前記フレームデータは、前記第１のラインデータの数が前記第２のラインデータの数より多く、
前記第１の黒レベル推定手段は、前記フレームデータの中の複数の第１のラインデータに基づき、前記第１のラインデータの黒レベルを推定し、
前記第２の黒レベル推定手段は、複数の前記フレームデータの第２のラインデータに基づき、前記第２のラインデータの黒レベルを推定することを特徴とする信号処理回路。
複数の第１の光学的黒画素データ及び複数の第１の有効画素データを含む第１のラインデータと、複数の第２の光学的黒画素データ及び複数の第２の有効画素データを含む第２のラインデータとを有するフレームデータの処理を行う信号処理方法であって、
第１の黒レベル推定手段により、前記第１のラインデータの複数の第１の光学的黒画素データを基に、前記第１のラインデータの黒レベルを推定するステップと、
第２の黒レベル推定手段により、前記第２のラインデータの複数の第２の光学的黒画素データと前記推定された前記第１のラインデータの黒レベルとを基に、前記第２のラインデータの黒レベルを推定するステップと
を有することを特徴とする信号処理方法。
複数の第１の光学的黒画素データ及び複数の第１の有効画素データを含む第１のラインデータと、複数の第２の光学的黒画素データ及び複数の第２の有効画素データを含む第２のラインデータとを有するフレームデータの処理を行う信号処理方法であって、
前記フレームデータは、前記第１のラインデータの数が前記第２のラインデータの数より多く、
第１の黒レベル推定手段により、前記フレームデータの中の複数の第１のラインデータの複数の第１の光学的黒画素データを基に、前記第１のラインデータの黒レベルを推定するステップと、
第２の黒レベル推定手段により、複数の前記フレームデータの第２のラインデータの複数の第２の光学的黒画素データを基に、前記第２のラインデータの黒レベルを推定するステップと
を有することを特徴とする信号処理方法。