JP4958666B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は光電変換により得られた画像信号を処理する撮像装置及びその制御方法に関する。

近年、消費電力が低くかつＣＣＤセンサと同等の高いＳＮ比が得られ、かつ信号処理回路を光電変換部と同じ半導体プロセスで製造できるため、ＣＭＯＳセンサが注目を集めている。

図９は、従来の複数の画素を含むＣＭＯＳセンサにおける１画素の信号の読み出し経路及び読み出した信号を処理する構成を示す概略図である。ＣＭＯＳセンサの露光を開始した後、まずＳＷ１をＯＮとして、読出手段としてのアンプ５１０の入力部のフローティング・デフュージョン部（ＦＤ）５０２を主とする領域に蓄積されている電荷をリセットする。そして、ＳＷ１をＯＦＦした後に、ＦＤ５０２の電荷を容量ＣＮに読み出す（ノイズ信号）。この時、次にＳＷ２をＯＮとしてフォトダイオード（ＰＤ）５０１内に蓄積されている光電変換により得られた電荷をＦＤ５０２に転送し、容量ＣＳに読み出す（画像信号）。容量ＣＳに保持された画像信号と容量ＣＮに保持されたノイズ信号を、二重相関サンプリング（ＣＤＳ）回路５０４で差分することにより、ノイズ成分が除去された画像信号を出力することができる。更にＡ／Ｄ変換器５０５でデジタル信号に変換されて、信号処理回路５０６により信号処理が行われる。

上述したような構成を有するＣＭＯＳセンサでは、非常に大きな光が入ると、突然、出力信号が無くなり、あたかも光が入っていないようにその部分が黒く見える、高輝度黒沈みという現象が生じることが知られている。

この高輝度黒沈みは、非常に大きな光が画素のＰＤ５０１に入射したとき、ＰＤ５０１で保持しきれなくなった電荷がＦＤ５０２に漏れ込むことが原因と考えられている。このようにＦＤ５０２に電荷が漏れ込むと、読み出されるノイズ信号が急激に大きくなるため、画像信号とノイズ信号との差分（出力信号）が小さくなってしまう。

この高輝度黒沈みを緩和するために、特許文献１ではこのノイズ信号を閾値と比較することにより急激な立ち上がりを検出し、ノイズ信号を所定の値にクリップすることが開示されている。

特開２０００−２８７１３１号公報

しかしながら、ノイズ信号をクリップするとしても、黒沈みか否かの判断に用いられる閾値あるいは、クリップをするレベルに誤差が生じれば、黒沈みが残存してしまう。以下に、この点について説明する。

図１０は、図９に示すＣＭＯＳセンサの経路中の各ポイントにおいて、太陽のような高輝度の被写体を撮影した場合に、ＣＭＯＳセンサを１ライン走査して得られた画像信号の推移を示している。

図１０（ａ）は、太陽のような高輝度の被写体を撮影した場合にＣＭＯＳセンサの各画素に蓄積される電荷量を表す概念図である。図１０（ｂ）は図９のPoint1における１ライン分のノイズ信号Ｎと画像信号Ｓを示した図であり、縦軸は信号のレベル、横軸は水平方向の画素の位置を表している。画像信号Ｓは、ＰＤ５０１で光電変換により得られた電荷量（入射レベル）が飽和レベルを越えているので、飽和レベルが連続することになる。ノイズ信号Ｎは、入射レベルが飽和レベルをさらに大きく越えた過飽和レベルに達すると、ＰＤ５０１からＦＤ５０２への電荷の漏れこみが発生し、周辺よりも大きな値になる。このままＣＤＳ回路５０４へ入力されて画像信号Ｓとの差分処理（Ｓ−Ｎ）が行われると、過飽和レベルを越えた画素の出力は周辺に比べ、大きくレベルが下がってしまう。

これに対してクリップ回路５０３を設け、ノイズ信号Ｎが閾値レベル（クリップレベル）を越えた場合に閾値レベルにクリップすると（図１０（ｃ））、過飽和領域のレベルの落ち込みを緩和することが可能となる（図１０（ｄ））。

しかし、この閾値レベルの設定を低くすれば黒沈みを無くすことができるが、通常のノイズ成分もクリップしてしまう可能性が高くなり、画質の劣化につながる。逆に、閾値レベルを高く設定すると、黒沈みを完全に抑えきれない可能性がある。図１０（ｃ）、図１０（ｄ）はそれぞれPoint2、Point3において閾値レベルの設定で完全に黒沈みがとりきれない場合のＣＤＳ回路５０４の入力、出力を示している。画素毎の飽和レベルのばらつきを解決するためにＡ／Ｄ変換器５０５でも所定レベルの上限にクリップされる（図１０（ｅ））。ここでクリップするレンジも小さくすれば黒沈みの影響は除去できるが、画質の劣化を招く。結果として、Ａ／Ｄ変換器５０５の出力は、飽和レベルの画素の領域の内側に、飽和レベルよりも低いレベルの画素の領域が生成される可能性がある。例えば太陽を撮影した際に、太陽の周辺部よりも中央のレベルの方が低くなってしまうことがある。

さらにノイズ信号のレベルが電圧や温度などの環境の変化に応じて変動する場合には、クリップレベルを１つのみ設定して常にそれを適用するだけでは、Ｓ／Ｎ比の悪化を防ぐことはできない。

本発明は上記問題点を鑑みてなされたものであり、本発明の撮像装置は、光電変換を行って得られた画像信号と、ノイズ信号とをそれぞれ出力する複数の光電変換手段と、前記複数の光電変換手段からノイズ信号を読み出す第１の読み出し駆動と、前記第１の読み出し駆動の後、前記複数の光電変換手段からノイズ信号と画像信号とを読み出す第２の読み出し駆動とを行う駆動手段と、前記第１の読み出し駆動により得られた前記ノイズ信号からノイズレベルの最大値を検出し、該検出された最大値と、前記第１及び第２の読み出し駆動時における電荷蓄積時間の差異とから、前記第２の読み出し駆動時のノイズレベルの最大値の予測値を算出し、算出した前記予測値に基づいてクリップレベルを決定するクリップレベル制御手段と、前記第２の読み出し駆動により得られた前記ノイズ信号を前記クリップレベルにクリップするクリップ手段と、前記第２の読み出し駆動により得られた前記画像信号から、前記クリップ手段によりクリップされたノイズ信号を差し引く差分手段とを有する。

また、光電変換を行って得られた画像信号と、ノイズ信号とをそれぞれ出力する複数の光電変換手段と、クリップ手段とを有する撮像装置の本発明の制御方法は、駆動手段が、前記複数の光電変換手段からノイズ信号を読み出す第１の読み出し工程と、前記駆動手段が、前記第１の読み出し工程の後、前記複数の光電変換手段からノイズ信号と画像信号とを読み出す第２の読み出し工程と、算出手段が、前記第１の読み出し駆動により得られた前記ノイズ信号からノイズレベルの最大値を検出し、該検出された最大値と、前記第１及び第２の読み出し駆動時における電荷蓄積時間の差違とから、前記第２の読み出し駆動時のノイズレベルの最大値の予測値を算出する算出工程と、前記算出工程で算出した前記予測値に基づいてクリップレベルを決定するクリップレベル決定工程と、前記クリップ手段が、前記第２の読み出し工程で得られた前記ノイズ信号を前記クリップレベルにクリップするクリップ工程と、差分手段が、前記第２の読み出し工程で得られた前記画像信号から、前記クリップ工程でクリップされたノイズ信号を差し引く差分工程とを有する。

本発明によれば、撮影状況に応じて、より適切なクリップレベルを設定することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態におけるＣＭＯＳセンサ（撮像素子）の１画素分の構成と、光学系及び信号処理部を有する撮像装置の概略構成を示すブロック図である。

レンズ１０１を介して入射した光は、絞り１０２によりその光量が調節され、ＣＭＯＳセンサ１０５上に結像される。１０４は絞り１０２を制御する絞り駆動回路であり、絞り駆動モータ１０３を介して絞り１０２を駆動する。１１０はＣＭＯＳセンサ１０５の蓄積動作、読み出し動作、リセット動作を制御するＣＭＯＳセンサ駆動回路である。ＣＭＯＳセンサ駆動回路１１０はＣＭＯＳセンサ１０５を駆動して高速でフレーム読み出しすることが可能であり、ビデオ記録レート中に、複数の撮像画像を読み出すことができる。ＣＰＵ１０６は、絞り駆動回路１０４、ＣＭＯＳセンサ駆動回路１１０、及び後述するパラメータ制御部１０９を制御する。

ＣＭＯＳセンサ１０５は主に複数の画素と読み出し回路から構成されるが、図１では１画素の転送経路に着目して説明する。

先ず、後述する本画像の撮像時（第２の読み出し駆動時）には、ＣＭＯＳセンサ１０５の露光を開始してから、まずＳＷ１をＯＮとする。これにより、読出手段としてのアンプ１０の入力部のフローティング・デフュージョン部（ＦＤ）２を主とする、フォトダイオード（ＰＤ）１の内部容量以外に蓄積されている電荷（ノイズ信号）をリセットする。その後、ＳＷ１をＯＦＦにしてから、ＦＤ２の電荷を容量ＣＮに読み出す。この時、ノイズ信号はクリップ回路３でクリップ処理を行ってから容量ＣＮに読み出される。次に、ＳＷ２をＯＮとして、ＰＤ１により光電変換され、ＰＤ１の内部容量に蓄積された電荷（画像信号）をＦＤ２に転送し、容量ＣＳに読み出す。

この読み出し動作は各画素ごとに行われ、容量ＣＮ及び容量ＣＳに読み出されたノイズ信号及び画像信号は順次二重相関サンプリング（ＣＤＳ）回路１０７へ入力される。ＣＤＳ回路１０７では、入力された画像信号とノイズ信号との差分をとることにより、ノイズ成分が除去された信号（差分信号）を出力する。即ち、ＣＤＳ回路１０７は差分手段に対応する。ＣＤＳ回路１０７から出力された差分信号（アナログ信号）は、更にＡ／Ｄ変換器１０８でデジタル画像データへ変換されると共に、各画素の飽和レベルのばらつきを抑圧するために上限値を制限するためのクリップ処理が行われる。

Ａ／Ｄ変換器１０８により処理されたデジタル画像データは、信号処理部１１４へ出力され、信号処理が行われる。

一方、後述する予備画像の撮像時（第１の読み出し駆動時）には、容量ＣＮに読み出されたノイズ信号はノイズ解析部１１１に送られる。そして、ノイズ解析部１１１によるノイズ解析の結果に応じて、ＣＰＵ１０６の制御の下、パラメータ制御部１０９はクリップ回路３にクリップレベルを設定する。即ち、ノイズ解析部１１１とパラメータ制御部１０９により、クリップレベル制御手段が構成される。

次に、上記構成を有する撮像装置の動作について、図２のフローチャートを参照しながら説明する。

本第１の実施形態では、クリップ回路３におけるクリップレベルを設定するための予備画像の撮像（第１の読み出し駆動）と、記録する画像を撮影する、本画像の撮像（第２の読み出し駆動）を行う。

先ず、予備画像の撮像（第１の読み出し駆動）が開始されると（ステップＳ１１）、ＣＰＵ１０６はパラメータ制御部１０９を制御して、クリップ回路３に対してクリップレベルの初期値を設定する（ステップＳ１２）。初期値としては十分大きな値を設定して予備画像の読み出し時にはクリップがかからないようにする。

次に、ステップＳ１３において、ＣＭＯＳセンサ１０５を駆動して予め設定された電荷蓄積時間経過後に、予備画像としてノイズ信号Ｎのみを容量ＣＮに読み出して、ノイズ解析部１１１に入力する。図３は予備画像の一例として、ＣＭＯＳセンサ１０５を水平方向に走査して読み出した、１ライン分のノイズ信号Ｎのレベルの推移を拡大して示した図である。なお、予備画像の撮像時には蓄積時間を短く設定し、ＦＤ２への電荷の漏れ込みが起こらないようにしておく。そのため、ここでは、黒沈みによる影響のないノイズ信号Ｎを取得することができる。

ノイズ解析部１１１は、図３に示す読み出したノイズ信号Ｎからノイズレベルの最大値を検出する（ステップＳ１４）。そして、検出したノイズレベル最大値に対して、次に行う本画像の撮像に用いる電荷蓄積時間との差違を補正して、本画像におけるノイズレベル最大値の予測値を算出する（ステップＳ１５）。なお、図３では、電荷蓄積時間との差違を補正した場合に予測される本画像の撮像時の１ライン分のノイズ信号Ｎ’も示している。このようにして算出した本画像におけるノイズレベル最大値の予測値に基づいて、本画像の読み出し時に用いるクリップレベルを決定し、パラメータ制御部１０９に、設定するクリップレベルを出力する。パラメータ制御部１０９は本画像の読み出し開始前にクリップ回路３にクリップレベルを設定する（ステップＳ１６）。

次に、本画像の撮像（第２の読み出し駆動）が開始されると（ステップＳ２１）、ＣＭＯＳセンサ１０５を駆動して、予め設定された電荷蓄積時間経過後にノイズ信号Ｎｍ及び画像信号Ｓｍをそれぞれ容量ＣＮ及び容量ＣＳに読み出す（ステップＳ２２）。この時、ノイズ信号Ｎｍはクリップ回路３により設定されたクリップレベルにクリップされる。

ステップＳ２２で容量ＣＮ及び容量ＣＳに読み出されたノイズ信号Ｎｍ及び画像信号Ｓｍは、ＣＤＳ回路１０７に入力されて差分がとられる（ステップＳ２３）。これにより、ノイズ成分が除去された画像信号（差分信号）を得ることができる。この、ＣＤＳ回路１０７から出力された差分信号は、Ａ／Ｄ変換器１０８によりデジタル信号に変換され（ステップＳ２４）、信号処理部１１４へ出力されて信号処理が行われ、記録画像となる（ステップＳ２５）。

図４は、ステップＳ２２で読み出した本画像の画像信号Ｓｍ及びノイズ信号Ｎｍの１ライン分のレベルの推移を示したものである。図４に示す例では、本画像の画像信号Ｓｍは黒沈みレベルを越えているため、黒沈みレベルを越えた領域に対応するノイズ信号Ｎｍはクリップ回路３によりクリップされる。この時、クリップレベルは予備画像のノイズ信号のレベルに基づいてステップＳ１６で設定したものが適用される。

図２に示す処理は、記録フレームレートまたはフィールドレート毎に行われる。即ち、記録フレームレートまたはフィールドレート毎に予備画像と本画像の読み出しの為に複数回ＣＭＯＳセンサ１０５の駆動を行い、その都度クリップレベルを更新する。このように駆動制御することにより、電圧や温度などの環境の変化に応じて、より適切なクリップレベルを設定することができるため、Ｓ／Ｎ比の悪化を防止することが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

図５は本第２の実施形態における撮像装置の全体概略構成を示すブロック図である。なお、図５において、第１の実施形態で図１を参照して説明した構成と同様の構成には同じ参照番号を付し、説明を省略する。

本第２の実施形態では、予備画像に基づいて本画像の撮像用のクリップレベルを決定する際に、ノイズ成分だけではなく、画像信号成分を用いるところが第１の実施形態と異なる。

以下、図６のフローチャートを参照しながら、本第２の実施形態における撮像装置の動作について説明する。

先ず、予備画像１の撮像（第３の読み出し駆動）が開始されると（ステップＳ１０１）、ＣＰＵ１０６はパラメータ制御部１０９を制御して、クリップ回路３に対してクリップレベルの初期値を設定する（ステップＳ１０２）。初期値としては十分大きな値を設定して予備画像１の読み出し時にはクリップがかからないようにする。

次に、ステップＳ１０３において、ＣＭＯＳセンサ１０５を駆動して予め設定された電荷蓄積時間経過後に、予備画像１として画像信号成分のみを容量ＣＳに読み出して、ノイズ解析部１１１に入力する。予備画像１の撮像時には、本画像の撮像時と同じ電荷蓄積時間となるように制御する。図７は予備画像１の一例として、ＣＭＯＳセンサ１０５を水平方向に走査して読み出した、１ライン分の画像信号Ｓｐのレベルの推移を示している。飽和レベルを越えている領域はさらに高輝度領域の黒沈みレベルに達して、ノイズ信号のレベルが大きくなる可能性がある。ノイズ解析部１１１は、図７に示す画像信号成分から飽和領域を検出して、ノイズレベル解析除外領域とする（ステップＳ１０４）。

次に、予備画像２の撮像（第１の読み出し駆動）が開始されると（ステップＳ１１１）、ＣＭＯＳセンサ１０５を駆動して予め設定された電荷蓄積時間経過後に、予備画像２としてノイズ信号Ｎｐのみを容量ＣＮに読み出す。そして読み出したノイズ信号Ｎｐをノイズ解析部１１１に入力する（ステップＳ１１２）。予備画像２の撮像時にも、本画像の撮像時と同じ電荷蓄積時間となるように制御する。また、ステップＳ１０２でクリップ回路３のクリップレベルが初期化されているために、ノイズ信号Ｎｐにはクリップがかからない。図８は予備画像２の一例としてＣＭＯＳセンサ１０５を水平方向に走査して読み出した、１ライン分のノイズ成分Ｎｐのレベルの推移を示している。

ノイズ解析部１１１は、図８に示す読み出したノイズ信号Ｎｐの内、ステップＳ１０４で検出したノイズレベル解析除外領域を除く領域から出力されたノイズ信号Ｎｐの最大値を検出する（ステップＳ１１３）。そして、検出したノイズレベル最大値を本画像の読み出し時に用いるクリップレベルとして決定し、パラメータ制御部１０９に、設定するクリップレベルを出力する。パラメータ制御部１０９は本画像の読み出し開始前にクリップ回路３にクリップレベルを設定する（ステップＳ１１４）。

次に、本画像の撮像（第２の読み出し駆動）を行うが、ここで行われる処理は、図２のステップＳ２１〜Ｓ２５で行われる処理と同様であるため、同じ参照番号を付して説明を省略する。

なお、図６に示す処理は、記録フレームレートまたはフィールドレート毎に行われる。即ち、記録フレームレートまたはフィールドレート毎に予備画像１及び予備画像２と、本画像の読み出しの為に複数回ＣＭＯＳセンサ１０５の駆動を行い、その都度クリップレベルを更新する。

上記の通り本第２の実施形態によれば、電圧や温度などの環境の変化に応じて、より適切なクリップレベルを設定することができるため、Ｓ／Ｎ比の悪化を防止することが可能になる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。 本発明の第１の実施形態における撮像処理を示すフローチャートである。 本発明の第１の実施形態における予備画像からクリップレベルを求める処理を示す図である。 本発明の第１の実施形態における本画像の画像信号成分及びクリップされたノイズ成分のレベルを示す図である。 本発明の第２の実施形態における撮像装置の概略構成を示すブロック図である。 本発明の第２の実施形態における撮像処理を示すフローチャートである。 本発明の第２の実施形態における予備画像１からノイズレベル解析除外領域を検出する処理を示す図である。 本発明の第２の実施形態における予備画像２からクリップレベルを求める処理を示す図である。 従来のＣＭＯＳセンサの１画素分の構成と、信号処理部の概略構成を示すブロック図である。 黒沈み発生時の各処理段階における従来の画素のレベル推移を示す図である。

符号の説明

１ フォトダイオード（ＰＤ）
２ フローティング・デフュージョン部（ＦＤ）
３ クリップ回路
１０ アンプ
１０１ レンズ
１０２ 絞り
１０３ 絞り駆動モータ
１０４ 絞り駆動回路
１０５ ＣＭＯＳセンサ
１０６ ＣＰＵ
１０７ 二重相関サンプリング（ＣＤＳ）回路
１０８ Ａ／Ｄ変換器
１０９ パラメータ制御部
１１０ ＣＭＯＳセンサ駆動回路
１１１ ノイズ解析部
１１４ 信号処理部

Claims (6)

1. 光電変換を行って得られた画像信号と、ノイズ信号とをそれぞれ出力する複数の光電変換手段と、
   前記複数の光電変換手段からノイズ信号を読み出す第１の読み出し駆動と、前記第１の読み出し駆動の後、前記複数の光電変換手段からノイズ信号と画像信号とを読み出す第２の読み出し駆動とを行う駆動手段と、
   前記第１の読み出し駆動により得られた前記ノイズ信号からノイズレベルの最大値を検出し、該検出された最大値と、前記第１及び第２の読み出し駆動時における電荷蓄積時間の差異とから、前記第２の読み出し駆動時のノイズレベルの最大値の予測値を算出し、算出した前記予測値に基づいてクリップレベルを決定するクリップレベル制御手段と、
   前記第２の読み出し駆動により得られた前記ノイズ信号を前記クリップレベルにクリップするクリップ手段と、
   前記第２の読み出し駆動により得られた前記画像信号から、前記クリップ手段によりクリップされたノイズ信号を差し引く差分手段と
   を有することを特徴とする撮像装置。
2. 前記第１の読み出し駆動時の前記複数の光電変換手段における電荷蓄積時間は、前記第２の読み出し駆動における電荷蓄積時間よりも短いことを特徴とする請求項１に記載の撮像装置。
3. 前記駆動手段は、前記第１の読み出し駆動に先立って、前記複数の光電変換手段から画像信号を読み出す第３の読み出し駆動を行い、
   前記撮像装置は、前記第３の読み出し駆動により得られた前記画像信号の内、予め設定されたレベルを超える画像信号を出力した光電変換手段を検出する検出手段を更に有し、
   前記クリップレベル制御手段は、前記検出手段によって検出された光電変換手段から出力されるノイズ信号を、前記ノイズレベルの最大値の検出に用いないことを特徴とする請求項１に記載の撮像装置。
4. 前記第１、第２、第３の読み出し駆動時の前記複数の光電変換手段における電荷蓄積時間は、等しいことを特徴とする請求項３に記載の撮像装置。
5. 光電変換を行って得られた画像信号と、ノイズ信号とをそれぞれ出力する複数の光電変換手段と、クリップ手段とを有する撮像装置の制御方法であって、
   駆動手段が、前記複数の光電変換手段からノイズ信号を読み出す第１の読み出し工程と、
   前記駆動手段が、前記第１の読み出し工程の後、前記複数の光電変換手段からノイズ信号と画像信号とを読み出す第２の読み出し工程と、
   算出手段が、前記第１の読み出し駆動により得られた前記ノイズ信号からノイズレベルの最大値を検出し、該検出された最大値と、前記第１及び第２の読み出し駆動時における電荷蓄積時間の差違とから、前記第２の読み出し駆動時のノイズレベルの最大値の予測値を算出する算出工程と、
   前記算出工程で算出した前記予測値に基づいてクリップレベルを決定するクリップレベル決定工程と、
   前記クリップ手段が、前記第２の読み出し工程で得られた前記ノイズ信号を前記クリップレベルにクリップするクリップ工程と、
   差分手段が、前記第２の読み出し工程で得られた前記画像信号から、前記クリップ工程でクリップされたノイズ信号を差し引く差分工程と
   を有することを特徴とする制御方法。
6. 前記駆動手段が、前記第１の読み出し駆動に先立って、前記複数の光電変換手段から画像信号を読み出す第３の読み出し工程と、
   検出手段が、前記第３の読み出し工程で得られた前記画像信号の内、予め設定されたレベルを超える画像信号を出力した光電変換手段を検出する検出工程とを更に有し、
   前記算出工程では、前記検出工程で検出された光電変換手段から出力されるノイズ信号を、前記ノイズレベルの最大値の検出に用いないことを特徴とする請求項５に記載の制御方法。

Images