JP4725052B2 - 撮像装置 - Google Patents

Description

本発明は、固体撮像素子に生じる固定パターンノイズ（ＦＰＮ）を除去する撮像装置に関するもので、特に、複数種類の色フィルタを備えてカラー画像を撮像する撮像装置に関する。

従来、入射光量に対して線形変換する線形変換動作を行う固体撮像素子においては、そのダイナミックレンジが２桁と狭いため、広い輝度範囲の輝度分布を構成する被写体を撮像したときは、ダイナミックレンジ以外の範囲の輝度情報は出力されない。又、従来の固体撮像装置として、入射光量に対して対数変換する対数変換動作を行うものがある（特許文献１参照）。この固体撮像素子においては、そのダイナミックレンジが５〜６桁と広いため、少々広い輝度範囲の輝度分布を構成する被写体を撮像しても、輝度分布内の全輝度情報を電気信号に変換して出力することができる。しかしながら、被写体の輝度分布に対してその撮像可能領域が広くなるので、撮像可能領域内の低輝度領域又は高輝度領域において、輝度データの無い領域ができてしまう。

これらに対して、従来の固体撮像素子として、上述の線形変換動作と対数変換動作とを切り換えることが可能なものがある（特許文献２参照）。このような線形変換動作と対数変換動作が切換可能な固体撮像素子において、各画素の感度バラツキを除去するために、リセット時のノイズ信号を画像信号から減算する動作が固体撮像素子内において行われている。しかしながら、このように固体撮像素子内において画像信号からノイズ信号を減算することでノイズ除去を行っても、各画素を構成するＭＯＳトランジスタの閾値バラツキなどが原因となるオフセットが完全に除去されずに、固体撮像素子から出力される画像信号にＦＰＮが重畳した状態となっていた。

このような画像信号に重畳したＦＰＮを除去するために、本出願人は、対数変換特性による光電変換動作を行う固体撮像素子に均一光を与えて得られた固体撮像素子のＦＰＮを表すシェーディングデータをメモリに記憶した後、撮像されて得られた画像信号に対して補正演算回路でメモリに記憶したシェーディングデータを減算して補正する固体撮像装置を提案している（特許文献３参照）。又、色フィルタを備えた対数変換特性による光電変換動作を行う固体撮像素子において、白色光照射時の各色信号を補正データとしてメモリに記憶した後、撮像されて得られた各色信号に対して補正演算回路でメモリに記憶した各色信号の補正データを減算してホワイトバランスをとる固体撮像装置を提案している（特許文献４参照）。更に、対数変換特性による光電変換動作を行う固体撮像素子に均一光を与えて得られた固体撮像素子のＦＰＮを表すシェーディングデータにおける補正を行うとともに、均一光照射時の温度と撮像時の温度との差異に基づく感度変化に対する補正を行う固体撮像装置を提案している（特許文献５参照）。
特開平１１−３１３２５７号公報 特開２００２−７７７３３号公報 特開平５−３０３５０号公報 特開平５−１６８０２２号公報 特開２０００−３０７９６２号公報

しかしながら、特許文献４における固体撮像装置では、対数変換特性のみによる光電変換動作を行う固体撮像素子から出力される画像信号を補正することに対しては有効であるが、線形変換特性による光電変換動作を行う固体撮像素子については、ホワイトバランスがとることができない。又、特許文献３〜特許文献５において、固体撮像素子からの画像信号のＦＰＮを除去するために、均一光照射時の画像信号をメモリに記憶する際、その固体撮像素子の動作状態は１つの動作状態についてのみである。即ち、ＦＰＮを除去するためにメモリに記憶される均一光照射時の画像信号が１種類である。そのため、線形変換動作と対数変換動作が切換可能な固体撮像素子から出力される画像信号については、その光電変換特性全域においてＦＰＮを完全に除去することができない。

又、均一光照射時の画像信号が一度取得されてから次回に取得されるまで、ＦＰＮ補正を行うための画像信号として同一のものを使用するため、固体撮像素子内のアンプのゲインや撮像装置の備えるアンプのゲインなどが変化しても、それに対応したＦＰＮ除去が行われることがない。よって、均一光照射時の画像信号が一度取得されてから次回に取得されるまでに、固体撮像素子内のアンプのゲインや撮像装置の備えるアンプのゲインなどが変化したときなどにおいても、撮像時に得られた画像信号に含まれるＦＰＮを完全に除去することができない。

このような問題を鑑みて、本発明は、被写体の輝度状況や撮像装置の駆動モードに応じて固体撮像素子から出力される画像信号におけるＦＰＮを除去することが可能な撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、出力信号が入射光量に対して変化する電気信号を出力する画素を有する固体撮像素子を備える撮像装置において、前記各画素間の出力バラツキを表す固定パターンノイズ成分を前記固体撮像素子により撮像された画像の状態又は前記撮像装置の駆動状態に対して設定する固定パターンノイズ設定部と、前記固体撮像素子が撮像動作を行うとき、当該撮像時における画像信号と前記固定パターンノイズ設定部で設定された前記固定パターンノイズ成分とが前記各画素毎に与えられ、該画像信号から該固定パターンノイズ成分を除去するノイズ成分除去部と、を備え、前記固定パターンノイズ設定部は、均一光が照射されたときの全画素からの画素信号の平均値を求める平均値演算部と、前記平均値演算部により求められた前記平均値を、前記均一光が照射されたときの各画素の画素信号から減算することにより、前記固定パターンノイズ成分を抽出する固定パターンノイズ成分抽出部と、を有することを特徴とする。

このとき、前記固体撮像素子が、出力信号が入射光量に対して第１の特性で変化する電気信号を出力する第１領域と出力信号が入射光量に対して前記第１の特性と異なる第２の特性で変化する電気信号を出力する第２領域とを含む光電変換特性を示す画素を備えるとともに、前記固定パターンノイズ設定部が、前記第１及び第２の特性それぞれに対して前記固定パターンノイズ成分を設定するものとしても構わない。

このような撮像装置において、前記固定パターンノイズ設定部が、前記第１の特性に対する前記固定パターンノイズ成分を前記画素毎に格納する第１メモリと、前記第２の特性に対する前記固定パターンノイズ成分を前記画素毎に格納する第２メモリと、前記固体撮像素子からの前記画像信号の信号値に基づいて、前記第１及び第２の特性のいずれによって撮像動作を行ったかを判定する判定部と、該判定部の判定結果に基づいて前記第１メモリ及び前記第２メモリに格納された前記固定パターンノイズを前記画素毎に選択して前記ノイズ成分除去部に出力する選択部と、を備えるものとしても構わない。

又、前記固定パターンノイズ設定部が、前記第１の特性に対する前記固定パターンノイズ成分を前記画素毎に格納するメモリと、前記固体撮像素子からの前記画像信号の信号値に基づいて、前記第１及び第２の特性のいずれによって撮像動作を行ったかを判定する判定部と、該判定部において前記第１の特性による撮像動作が行われたと判定されたとき、前記メモリから前記画素毎に読み出した前記固定パターンノイズを前記ノイズ成分除去部に出力し、該判定部において前記第２の特性による撮像動作が行われたと判定されたとき、前記メモリから前記画素毎に読み出した前記固定パターンノイズを前記第２の特性に対する固定パターンノイズに変換して前記ノイズ成分除去部に出力するデータ変換部と、を備えるものとしても構わない。

更に、これらの撮像装置において、前記判定部が、前記第１及び第２の特性の変極点となる信号値と前記画像信号の信号値とを前記画素毎に比較することによって、前記第１及び第２の特性のいずれによって撮像動作を行ったか判定するものとしても構わないし、又、前記固体撮像素子から出力される複数の画素の画像信号の信号値に対する頻度を表すヒストグラムを求めるとともに、当該ヒストグラムに基づいて前記第１及び第２領域それぞれの頻度を比較することによって、前記第１及び第２の特性のいずれによって撮像動作を行ったか判定するものとしても構わない。

更に、前記第１の特性が入射光量に対して線形変換する光電変換特性であるとともに、前記第２の特性が入射光量に対して対数変換する光電変換特性であるものとしても構わないし、逆に、前記第１の特性が入射光量に対して対数変換する光電変換特性であるとともに、前記第２の特性が入射光量に対して線形変換する光電変換特性であるものとしても構わない。

上述の前記メモリを備える各撮像装置において、前記各画素間の出力バラツキを表す固定パターンノイズ成分を含むノイズ信号が前記固体撮像素子から出力されたとき、当該ノイズ信号より前記固定パターンノイズ成分を抽出するノイズ成分抽出部を備え、該ノイズ成分抽出部で抽出された前記固定パターンノイズ成分を前記メモリに格納するものとしても構わない。

このような撮像装置において、前記ノイズ成分抽出部において、前記各画素毎に、前記ノイズ信号から当該画素に設けられた前記色フィルタの透過率により発生するオフセットを減じることによって前記固定パターンノイズ成分を抽出することにより、前記色フィルタの透過率の差異による異なるオフセットを前記画像信号から除去することなく、純粋に前記固定パターンノイズのみを除去することができ、後段に設けるホワイトバランス処理が複雑なものでなくなる。更に、このとき、前記色フィルタにより発生するオフセットを、前記色フィルタの種類毎に求められた同一種類の前記色フィルタが設けられた前記画素からのノイズ信号の平均値としても構わない。

又、前記ノイズ成分抽出部が、前記色フィルタの種類毎に前記ノイズ信号の平均値を求める平均値演算部と、前記色フィルタの種類毎に前記ノイズ信号から前記ノイズ信号の平均値を減算する減算部と、を備え、前記ノイズ信号を前記メモリに一時的に格納するとともに前記平均値演算部が前記ノイズ信号の平均値を前記色フィルタの種類毎に求めた後、前記減算部が前記色フィルタの種類毎に前記メモリに一時的に格納した前記ノイズ信号から前記ノイズ信号の平均値を減算して前記固定パターンノイズ成分を抽出し、前記メモリに格納する。

更に、前記固体撮像素子が入射光量に対して電気信号を発生する際に用いる光電変換特性を入射される輝度値に応じて線形変換特性及び対数変換特性のいずれかに切り換えるものとしても構わない。このとき、前記固体撮像素子の各画素が、入射光量に応じた電気信号を発生する感光素子と、当該感光素子の一方の電極に第１電極が接続されるトランジスタと、を備え、前記入射光量が所定値までは前記トランジスタが不作動状態であり、当該所定値を超えると前記トランジスタがサブスレッショルド領域で動作し、又、リセット時に前記トランジスタに与える信号の値と撮像時に前記トランジスタに与える値との差を変更することで前記トランジスタの動作を切り換える前記入射光量の所定値を切り換えるものとしても構わない。

又、上述の撮像装置において、前記固体撮像装置に均一光が照射されたときに前記固体撮像装置から出力される画像信号を前記ノイズ信号とするものとしても構わない。

又、前記固定パターンノイズ設定部が、前記固体撮像素子内外に設けられた増幅部の増幅率に基づいて乗算係数を設定するとともに、該乗算係数を前記固定パターンノイズに乗算して前記ノイズ成分除去部に出力するものとしても構わない。

本発明によると、固定パターンノイズ成分を固体撮像素子による画像又は撮像装置の駆動状態に対して設定するため、被写体の輝度状況や撮像装置の駆動モードに応じて固体撮像素子から出力される画像信号におけるＦＰＮを除去することができる。又、固体撮像素子の光電変換特性に応じてＦＰＮ成分を設定するため、異なる光電変換特性で動作する固体撮像素子において、それぞれの光電変換特性に応じたＦＰＮ成分が設定される。よって、被写体の輝度領域において最適なＦＰＮ成分が設定され、撮像した画像よりＦＰＮをほぼ完全に除去することができる。又、データ変換部を備えることで、第１の特性に対する固定パターンノイズを格納するメモリのみを備えるものとすることができ、そのメモリ容量を小さくすることができる。更に、固体撮像素子内外に設けられた増幅部の増幅率に基づく乗算係数によりＦＰＮ成分を増幅することにより、撮像装置の駆動条件が変更されたときに、再度、ＦＰＮ成分の取得を行う必要がなくなる。

＜撮像装置の構成＞
本発明の撮像装置の構成について、図１を参照して説明する。図１は、本発明の撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、複数のレンズから構成される光学系１と、光学系１を通じて入射される光の入射光量を電気信号に変換する固体撮像素子２と、固体撮像素子２から出力される電気信号を増幅するアンプ３と、アンプ３で増幅された電気信号をデジタル信号に変換するＡＤ変換回路４と、ＡＤ変換回路４からのデジタル信号の最低レベルを設定する黒基準補正回路５と、黒基準補正回路５で黒基準値により補正されたデジタル信号が固体撮像素子２の各画素の感度などによるＦＰＮを除去するＦＰＮ補正回路６と、ＦＰＮ補正回路６でＦＰＮ除去されたデジタル信号より自動露出制御（ＡＥ）及びホワイトバランス（ＷＢ）を行うためのそれぞれの評価値を検出するＡＥ・ＷＢ評価値検出回路７と、ＦＰＮ補正回路６でＦＰＮ除去されたデジタル信号について色バランスがとれるように各色信号毎に補正を行うＷＢ制御回路８と、ＷＢ制御回路８から出力される隣接する複数の画素の色信号に基づいて各色信号の補間を行う色補間回路９と、色補間回路９から出力される各色信号を他の色信号により色合いを各画素毎に補正する色補正回路１０と、色補正回路１０から出力されるデジタル信号の階調変換を行う階調変換回路１１と、階調変換回路１１から出力されるデジタル信号についてエッジ強調などの処理を施すコアリング回路１２と、各ブロックの制御を行う全体制御部１３と、光学系１に備えられる絞り１ａによる露光量を制御する絞り制御部１４と、固体撮像素子２及びＡＤ変換回路４に動作タイミング用のクロックを与えるタイミング生成回路１５と、を備える。

このように構成される撮像装置は、光学系１を介して光が各画素毎に異なる色フィルタを備えた固体撮像素子２に入射されると、各画素において光電変換動作が行われ、各画素毎に異なる色信号となるアナログ信号が出力される。即ち、図２のように、ＲＧＢによるベイヤ型配列となる色フィルタが固体撮像素子２に設けられるとき、Ｒとなる色フィルタが設けられた画素からは赤色を表すＲ信号が、Ｇとなる色フィルタが設けられた画素からは緑色を表すＧ信号が、Ｂとなる色フィルタが設けられた画素からは青色を表すＢ信号が、それぞれ出力される。尚、固体撮像素子２は、後述するように、全体制御部１３から与えられるダイナミックレンジを変化させるダイナミックレンジ制御信号によって、線形変換動作及び対数変換動作を切り換える輝度を変更させる。

この固体撮像素子２からシリアルに出力されるＲ信号及びＧ信号及びＢ信号が、アンプ３において増幅された後、ＡＤ変換回路４においてデジタル信号に変換される。このようにデジタル信号に変換されたＲ信号及びＧ信号及びＢ信号が黒基準補正回路５に与えられると、全体制御部１３から与えられるダイナミックレンジ制御信号に基づいて、最低輝度値となる黒レベルが基準値（０）に補正される。即ち、固体撮像素子２のダイナミックレンジによって黒レベルが異なるため、ＡＤ変換回路４から出力されるＲ信号及びＧ信号及びＢ信号それぞれの信号レベルに対して、黒レベルとなる信号レベルが減算されることで、基準値補正が行われる。

この黒基準補正が行われたＲ信号及びＧ信号及びＢ信号は、後述するように、ＦＰＮ補正回路６において格納しているＦＰＮ成分を減算することによって、ＦＰＮ成分が除去される。このＦＰＮ成分は、固体撮像素子２内の各画素を構成するＭＯＳトランジスタの閾値バラツキなどが原因となって生じるオフセットバラツキである。このようにＦＰＮ成分が除去されたＲ信号及びＧ信号及びＢ信号が、ＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８に与えられる。このＦＰＮ補正回路６の詳細については後述する。

ＡＥ・ＷＢ評価値検出回路７では、与えられたＲ信号及びＧ信号及びＢ信号より成る画像信号の輝度値を確認することにより、被写体の輝度範囲を表す輝度の平均値分布範囲を算出し、露光量を設定するＡＥ評価値として全体制御部１３に送出する。このＡＥ評価値に基づいて全体制御部１３が絞り１ａの開口度を制御することで、露光量が制御される。又、ＡＥ・ＷＢ評価値検出回路７では、与えられたＲ信号及びＧ信号及びＢ信号よりそれぞれの輝度比及び輝度差を確認し、ホワイトバランスを行うための基準値であるＷＢ評価値を算出し、全体制御部１３に送出する。そして、ＷＢ制御回路８では、全体制御部１３より与えられるＷＢ評価値及びダイナミックレンジ制御信号に基づいて、Ｒ信号及びＧ信号及びＢ信号が、同一の光電変換特性となるようにホワイトバランス処理が施される。

ＷＢ制御回路８でホワイトバランス処理が施されたＲ信号及びＧ信号及びＢ信号は、色補間回路９において色補間処理が施される。図２のようなＲＧＢによるベイヤ型配列となる色フィルタが固体撮像素子２に設けられているとき、各画素から出力される色信号は、その画素に設けられる色フィルタによる色信号のみである。よって、色補間回路９において、他の色信号が隣接する画素の色信号により生成されることで、色補間処理が施される。

そして、ＲＧＢそれぞれの色フィルタが各画素Ｇ11〜Ｇ44に図２のように配列されているとき、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33からＲ信号ｒ11，ｒ31，ｒ13，ｒ33が、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34からＧ信号ｇ21，ｇ41，ｇ12，ｇ32，ｇ23，ｇ43，ｇ14，ｇ34が、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44からＢ信号ｂ22，ｂ42，ｂ24，ｂ44が、出力される。このとき、画素Ｇ22，Ｇ23，Ｇ32，Ｇ33のＲＧＢ信号が、以下の式のように表される。

画素Ｇ22のＲ信号ｒ22、Ｇ信号ｇ22、Ｂ信号ｂ22
ｒ22＝（ｒ11＋ｒ31＋ｒ13＋ｒ33）／４
ｇ22＝（ｇ21＋ｇ12＋ｇ32＋ｇ23）／４
ｂ22＝ｂ22
画素Ｇ32のＲ信号ｒ32、Ｇ信号ｇ32、Ｂ信号ｂ32
ｒ32＝（ｒ31＋ｒ33）／２
ｇ32＝ｇ32
ｂ32＝（ｂ22＋ｂ42）／２
画素Ｇ23のＲ信号ｒ23、Ｇ信号ｇ23、Ｂ信号ｂ23
ｒ23＝（ｒ13＋ｒ33）／２
ｇ23＝ｇ23
ｂ23＝（ｂ22＋ｂ24）／２
画素Ｇ33のＲ信号ｒ33、Ｇ信号ｇ33、Ｂ信号ｂ33
ｒ33＝ｒ33
ｇ33＝（ｇ32＋ｇ23＋ｇ43＋ｇ34）／４
ｂ33＝（ｂ22＋ｂ42＋ｂ24＋ｂ44）／４

このように画素補間処理を行うことで、各画素毎にＲＧＢ信号が得られると、各画素のＲＧＢ信号が色補正回路１０に与えられ、各画素の色合いを強調するための色補正処理が施される。このとき、ＲＧＢ信号はそれぞれ、他の色信号の値により色補正が施される。即ち、画素ＧklのＲＧＢ信号ｒkl，ｇkl，ｂklを以下の式に代入することによって、色合い補正が施された画素ＧｋｌのＲＧＢ信号ｒｘkl，ｇｘkl，ｂｘklが生成される。この際、ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３によるマトリックス係数が、全体制御部１３から入力されるダイナミックレンジ制御信号に基づいて切り換えられて、各画素のＲＧＢ信号による色合いが強調される。
ｒｘkl＝ａ１×ｒkl＋ａ２×ｇkl＋ａ３×ｂkl
ｇｘkl＝ｂ１×ｒkl＋ｂ２×ｇkl＋ｂ３×ｂkl
ｂｘkl＝ｃ１×ｒkl＋ｃ２×ｇkl＋ｃ３×ｂkl

色補正回路１０で色補正が施されたＲＧＢ信号は、階調変換回路１１に与えられて、適切な出力レベルとなるように、全体制御部１３から入力されるダイナミックレンジ制御信号及びＡＥ評価値に基づいて、γカーブに基づく変化やデジタルゲインの変化により階調特性を変化させる。そして、エッジ成分に対して図３のような関係のレベル変換特性を備えるコアリング回路１２において、ＲＧＢ信号それぞれに重畳したノイズ成分が除去されるとともに、エッジ成分が抽出されてエッジ強調処理が施される。

＜固体撮像素子の構成例＞
図１のように構成される撮像装置における固体撮像素子２の構成について、図面を参照して説明する。図４は、本例の固体撮像素子の一部の構成を概略的に示すブロック図であり、図５は、各画素の構成を示す回路図である。

固体撮像素子２は、図４に示すように、Ｇ11〜Ｇmnは行列配置（マトリクス配置）された画素を示している。２１は垂直走査回路であり、各画素に信号φＶを与える行（ライン）２３−１，２３−２，・・・，２３−ｎを順次走査していくとともに、ライン２４−１，２４−２，・・・，２４−ｎを介して各画素に信号φＶＤを、ライン２５−１，２５−２，・・・，２５−ｎを介して各画素に信号φＶPSを、それぞれ与える。２２は水平走査回路であり、画素から出力信号線２６−１，２６−２，・・・，２６−ｍに導出された光電変換信号を画素ごとに水平方向に順次読み出す。２０は電源ラインである。各画素に対し、上記ライン２３−１〜２３−ｎ，２４−１〜２４−ｎ，２５−１〜２５−ｎや出力信号線２６−１〜２６−ｍ、電源ライン２０だけでなく、他のライン（例えば、クロックラインやバイアス供給ライン等）も接続されるが、図４ではこれらについて省略する。

又、出力信号線２６−１〜２６−ｍのそれぞれには、定電流源２７−１〜２７−ｍが接続されるとともに、信号線２６−１〜２６−ｍのそれぞれを介して与えられる画素Ｇ11〜Ｇmnから与えられる画像信号とノイズ信号をサンプルホールドする選択回路２８−１〜２８−ｍが設けられる。そして、補正回路２９に選択回路２８−１〜２８−ｍから画像信号及びノイズ信号が順に送出されると、この補正回路２９で補正処理が行われて、ノイズ除去された画像信号が外部に出力される。尚、定電流源２７−１〜２７−ｍの一端に直流電圧ＶPSが印加される。

このような固体撮像素子において、画素Ｇab（ａ：１≦ａ≦ｍの自然数、ｂ：１≦ｂ≦ｎの自然数）からの出力となる画像信号及びノイズ信号が、それぞれ、出力信号線２６−ａを介して出力されるとともに、この出力信号線２６−ａに接続された定電流源２７−ａによって増幅される。そして、画素Ｇabから出力された画像信号及びノイズ信号が順番に選択回路２８−ａに送出されるとともに、この選択回路２８−ａにおいて、送出された画像信号及びノイズ信号がサンプルホールドされる。その後、選択回路２８−ａより、サンプルホールドされた画像信号が補正回路２９に送出された後、同じくサンプルホールドされたノイズ信号が補正回路２９に送出される。補正回路２９では、選択回路２８−ａより与えられた画像信号を、同じく選択回路２８−ａより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した画像信号をアンプ３に出力する。

このような構成の固体撮像素子２において、画素Ｇ11〜Ｇmnは、図５に示すように、カソードに直流電圧ＶPDが印加されたフォトダイオードＰＤのアノードにＭＯＳトランジスタＴ１のドレインが接続され、ＭＯＳトランジスタＴ１のソースにＭＯＳトランジスタＴ２のゲート及びドレインとＭＯＳトランジスタＴ３のゲートが接続される。又、ＭＯＳトランジスタＴ３のソースにＭＯＳトランジスタＴ４のゲート及びＭＯＳトランジスタＴ５のドレインが接続され、ＭＯＳトランジスタＴ４のソースにＭＯＳトランジスタＴ６のドレインが接続される。そして、ＭＯＳトランジスタＴ６のドレインが出力信号線２６（図４の出力信号線２６−１〜２６−ｍに相当する）に接続される。尚、ＭＯＳトランジスタＴ１〜Ｔ６は、ＰチャネルのＭＯＳトランジスタである。

ＭＯＳトランジスタＴ２のソースにはライン２５（図４のライン２５−１〜２５−ｎに相当する）を介して信号φＶPSが入力され、ＭＯＳトランジスタＴ３，Ｔ４のドレインに直流電圧ＶPDが印加される。又、ＭＯＳトランジスタＴ３のソースには、その一端にライン２４（図４のライン２４−１〜２４−ｎに相当する）を介して信号φＶＤが与えられるキャパシタＣの他端が接続される。又、ＭＯＳトランジスタＴ５のソースには直流電圧ＶRGが入力され、そのゲートに信号φＲＳが入力される。更に、ＭＯＳトランジスタＴ１，Ｔ６のゲートにはそれぞれ、信号φＳ，φＶが入力される。

尚、信号φＶPSは２値の電圧信号で、入射光量が所定値を超えたときにＭＯＳトランジスタＴ２をサブスレッショルド領域で動作させるための電圧をＶＬとし、又、この電圧よりも高くＭＯＳトランジスタＴ２を導通状態にする電圧をＶＨとする。又、信号φＶＤは、３値の電圧信号であり、キャパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、画像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりも低いＶｌとする。

このように構成される固体撮像素子２における画素Ｇ11〜Ｇmnの動作について、図６のフローチャートを参照して説明する。まず、電圧値Ｖｍのパルス信号φＶＤとパルス信号φＶが与えられて画像信号が出力されると、信号φＶＤをＶｈとした後、信号φＳをハイにしてＭＯＳトランジスタＴ１をＯＦＦにして、リセット動作が始まる。次に、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＨにして、ＭＯＳトランジスタＴ２のソース電圧を高くすることで、ＭＯＳトランジスタＴ２のゲート及びドレイン、そしてＭＯＳトランジスタＴ３のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φＲＳをローとして、ＭＯＳトランジスタＴ５をＯＮにして、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧を初期化する。

そして、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＬにして、ＭＯＳトランジスタＴ２のポテンシャル状態を基の状態に戻した後、信号φＲＳをハイにして、ＭＯＳトランジスタＴ５をＯＦＦにする。その後、キャパシタＣが積分動作を行って、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧が、リセットされたＭＯＳトランジスタＴ２のゲート電圧に応じたものとなる。そして、パルス信号φＶをＭＯＳトランジスタＴ６のゲートに与えてＭＯＳトランジスタＴ６をＯＮにするとともに信号φＶＤの電圧値をＶｌにする。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線２６にはノイズ信号が電圧信号として現れる。その後、再び、パルス信号φＲＳをＭＯＳトランジスタＴ５に与えて、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧をリセットした後、信号φＳをローにしてＭＯＳトランジスタＴ１を導通させて撮像動作が行える状態にする。

このようにノイズ信号が出力された後、ＭＯＳトランジスタＴ１がＯＮとされると、撮像動作が開始される。このとき、信号φＲＳをハイとして、ＭＯＳトランジスタＴ５をＯＦＦとする。又、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＬとするとともに、キャパシタＣに与える信号φＶＤの電圧値をＶｈとして、積分動作を行うようにする。そして、フォトダイオードＰＤより入射光量に応じた光電荷がＭＯＳトランジスタＴ２に流れ込むと、ＭＯＳトランジスタＴ２はカットオフ状態であるので、光電荷がＭＯＳトランジスタＴ２のゲートに蓄積される。

よって、撮像する被写体の輝度が低くフォトダイオードＰＤに入射される入射光量が少ない場合は、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧がＭＯＳトランジスタＴ２のゲートに現れるため、入射光量の積分値に対して線形的に比例した電圧がＭＯＳトランジスタＴ３のゲートに現れる。又、撮像する被写体の輝度が高くフォトダイオードＰＤに入射される入射光量が多く、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧が高くなると、ＭＯＳトランジスタＴ２がサブスレッショルド領域で動作を行うため、入射光量に対して自然対数的に比例した電圧がＭＯＳトランジスタＴ３のゲートに現れる。

この入射光量に対して線形的に又は自然対数的に比例した電圧がＭＯＳトランジスタＴ３で電流増幅されたドレイン電流がキャパシタＣから流れるため、ＭＯＳトランジスタＴ４のゲート電圧が、入射光量の積分値に対して線形的又は自然対数的に比例した電圧となる。そして、信号φＶＤの電圧値をＶｍとするとともに、ＭＯＳトランジスタＴ６にパルス信号φＶを与えることで、ＭＯＳトランジスタＴ４のゲート電圧に応じたソース電流が、ＭＯＳトランジスタＴ６を介して出力信号線２６へ流れる。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線２６には画像信号が電圧信号として現れる。その後、信号φＶをハイにしてＭＯＳトランジスタＴ６をＯＦＦにするとともに、信号φＶＤの電圧値をＶｈとする。

このように動作するとき、撮像時の信号φＶPSの電圧値ＶＬが低くなり、リセット時の信号φＶPSの電圧値ＶＨとの差を大きくするほど、ＭＯＳトランジスタＴ２のゲート・ソース間のポテンシャルの差が大きくなり、ＭＯＳトランジスタＴ２がカットオフ状態で動作する被写体輝度の割合が大きくなる。よって、図７のように、電圧値ＶＬが低いほど、線形変換する被写体輝度の割合が大きくなる。即ち、被写体の輝度範囲が狭いと電圧値ＶＬを低くして、線形変換する輝度範囲を広くし、又、被写体の輝度範囲が広いと電圧値ＶＬを高くして、対数変換する輝度範囲を広くする。よって、電圧値ＶＬを最小とするとき、常に線形変換する状態とし、又、電圧値ＶＬを最大とするとき、常に対数変換する状態とする。

このように動作する固体撮像素子２の画素Ｇ11〜Ｇmnに与える信号φＶPSの電圧値ＶＬの値を全体制御部１３が切り換えることによって、被写体の輝度範囲に応じたダイナミックレンジを備えた固体撮像素子２とすることができる。即ち、全体制御部１３が信号φＶPSの電圧値ＶＬの値を切り換えることで、固体撮像素子２の画素Ｇ11〜Ｇmnにおける線形変換動作から対数変換動作へ切り替わる変極点（輝度値）を設定することができる。尚、撮像時に対数変換動作に変わるときのＭＯＳトランジスタＴ２のゲート電圧に至るまでにＭＯＳトランジスタＴ２に流れ込む光電荷量が、全ての画素において等しい。

尚、本構成例では、図５のように構成される画素を備えた固体撮像素子としたが、このような構成に限られるものではなく、線形変換動作と対数変換動作が各画素において自動的に切り換えることが可能なものであれば、特許文献２に示されるような構成の画素などのような他の構成の画素より構成されるものとしても構わない。又、撮像時の信号φＶPSの電圧値ＶＬを変更することで線形変換動作と対数変換動作との変極点を変更するものとしたが、リセット時の信号φＶPSの電圧値ＶＨを変更することで線形変換動作と対数変換動作との変極点を変更するものとしても構わない。又、光電変換特性が暗時から明時に線形変換特性から対数変換特性に切り替わるものとしているが、暗時から明時に対数変換特性から線形変換特性に切り替わるものとしても構わない。又、光電変換特性が線形変換特性と対数変換特性との間で切り替わるものとしているが、常に線形変換動作を行うとともにそのゲインが切り替わるものとしても構わない。更に、各画素にＲＧＢフィルタを備えるものとしたが、シアン（Cyan）、マゼンタ（Magenta）、イエロー（Yellow）などの他の色フィルタを備えるものとしても構わない。

このような共通の構成を備える撮像装置の各実施形態について、以下に説明する。尚、以下の各実施形態における撮像装置はそれぞれ、ＦＰＮ補正回路の構成が異なるものであるので、以下の各実施形態では、この構成の異なるＦＰＮ補正回路について説明する。

＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して説明する。尚、図８は、本実施形態の撮像装置におけるＦＰＮ補正回路の内部構成を示すブロック図である。

本実施形態の撮像装置におけるＦＰＮ補正回路６ａ（図１のＦＰＮ補正回路６に相当する）は、図８に示すように、黒基準補正回路５から与えられる均一光照射時のＲＧＢ信号及びＦＰＮ成分抽出部６４で得られたＦＰＮ成分が各画素毎に格納される画像メモリ６１と、画像メモリ６１の書き込み及び読み出し制御を行うメモリ制御部６２と、均一光照射時のＲＧＢ信号それぞれの平均値を求める平均値演算部６３と、均一光を照射したときのＲＧＢ信号とその平均値により固体撮像素子２の各画素のＦＰＮ成分を抽出するＦＰＮ成分抽出部６４と、画像メモリ６１に格納したＦＰＮ成分に基づいて被写体撮像時のＲＧＢ信号から各画素のＦＰＮ成分を除去するＦＰＮ成分除去部６５と、黒基準補正回路５から与えられるＲＧＢ信号それぞれの値より撮像動作が線形変換動作か対数変換動作を確認する比較器６６と、黒基準補正回路５から与えられるＲＧＢ信号をメモリ制御部６２及びＦＰＮ成分除去部６５のいずれに送出するか選択するためのスイッチＳＷ１と、メモリ制御部６２によって読み出された信号を平均値演算部６３及びＦＰＮ成分抽出部６４及びＦＰＮ成分除去部６５のいずれに送出するか選択するためのスイッチＳＷ２と、を備える。

又、画像メモリ６１は、固体撮像素子２が線形変換動作を行ったときに得られたＦＰＮ成分を格納する線形変換用メモリ６１ａと、固体撮像素子２が対数変換動作を行ったときに得られたＦＰＮ成分を格納する対数変換用メモリ６１ｂと、を備える。即ち、固体撮像素子２に低い輝度の均一光を入射したときに得られる各画素のＦＰＮ成分が線形変換用メモリ６１ａに格納されるとともに、固体撮像素子２に高い輝度の均一光を入射したときに得られる各画素のＦＰＮ成分が対数変換用メモリ６１ｂに格納される。メモリ６１ａ，６１ｂは、フラッシュメモリなどの不揮発性のものであり、取得されたＦＰＮ成分を表すデータを保持し続ける。

このようにＦＰＮ補正回路６ａが構成されるとき、固体撮像素子２に対して工場出荷時などにおいて、輝度の低い均一光が照射されて線形変換動作時のＦＰＮ成分がＦＰＮ補正回路６ａで抽出されるとともに、輝度の高い均一光が照射されて対数変換動作時のＦＰＮ成分がＦＰＮ補正回路６ａで抽出される。即ち、線形変換動作時及び対数変換動作時それぞれのＦＰＮ成分を抽出するために、輝度の低い均一光（以下、「低輝度均一光」とする）と輝度の高い均一光（以下、「高輝度均一光」とする）とによって固体撮像素子２に２回均一光が照射されるとともに、ＦＰＮ補正回路６ａにおいて２回ＦＰＮ成分の抽出動作が行われる。

このとき、このＦＰＮ補正回路６ａにおけるＦＰＮ成分の抽出動作については、低輝度均一光が照射されたときに得られた線形変換動作時のＦＰＮ成分（線形変換用ＦＰＮ成分）が線形変換用メモリ６１ａに格納されるとともに、高輝度均一光が照射されたときに得られた対数変換動作時のＦＰＮ成分（対数変換用ＦＰＮ成分）が対数変換用メモリ６１ｂに格納される以外の動作が同じ動作となる。よって、以下では、線形変換用ＦＰＮ成分の抽出動作について、図９のフローチャートを参照して説明する。尚、均一光照射時においても、通常の撮像時と同様、固体撮像素子２の各画素Ｇ11〜Ｇmnが図６の状態遷移図に従って動作する。

固体撮像素子２に低輝度均一光が照射されることで得られたＲＧＢ信号が、黒基準補正回路５から出力されると、線形変換用ＦＰＮ成分の抽出動作が行われる。このＦＰＮ成分の抽出動作が行われるとき、ＦＰＮ補正回路６ａでは、まず、黒基準補正回路５から与えられるＲＧＢ信号がメモリ制御部６２に送出されるように、スイッチＳＷ１の接点を切り換える（ＳＴＥＰ１）。次に、ＲＧＢ信号がメモリ制御部６２から平均値演算部６３に送出されるように、スイッチＳＷ２の接点を切り換える（ＳＴＥＰ２）。

そして、黒基準補正回路５から与えられるＲＧＢ信号がスイッチＳＷ１を介してメモリ制御部６２に与えられ、各画素毎に画像メモリ６１の線形変換用メモリ６１ａに格納される（ＳＴＥＰ３）。又、メモリ制御部６２よりＲＧＢ信号が平均値演算部６３に与えられることによって、ＲＧＢ信号それぞれの平均値ｒav，ｇav，ｂavが求められるとともに平均値演算部６３内に格納される（ＳＴＥＰ４）。具体的には、メモリ制御部６２に与えられたＲＧＢ信号は、線形変換用メモリ６１ａ及び平均値演算部６３に与えられる。そして、平均値演算部６３において、メモリ制御部６２より与えられたＲＧＢ信号は、それぞれの信号が与えられる毎に加算する。その後、メモリ制御部６２により全てのＲＧＢ信号が線形変換用メモリ６１ａ及び平均値演算部６３に与えられたとき、平均値演算部６３では、ＲＧＢ信号それぞれの加算された値が各信号を出力する画素数で除算することで平均値ｒav，ｇav，ｂavが求められて格納される。

よって、色フィルタが画素Ｇ11〜Ｇ44に対して図２のように設けられているとき、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33に対して低輝度均一光照射時のＲ信号ｒｂ11，ｒｂ31，ｒｂ13，ｒｂ33が、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34に対してＧ信号ｇｂ21，ｇｂ41，ｇｂ12，ｇｂ32，ｇｂ23，ｇｂ43，ｇｂ14，ｇｂ34が、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44に対してＢ信号ｂｂ22，ｂｂ42，ｂｂ24，ｂｂ44が、それぞれ画像メモリ６１に格納される。そして、平均値演算回路６３において、Ｒ信号の平均値ｒav＝（ｒｂ11＋ｒｂ31＋ｒｂ13＋ｒｂ33）／４が、Ｇ信号の平均値ｇav＝（ｇｂ21＋ｇｂ41＋ｇｂ12＋ｇｂ32＋ｇｂ23＋ｇｂ43＋ｇｂ14＋ｇｂ34）／８が、Ｂ信号の平均値ｂav＝（ｂｂ22＋ｂｂ42＋ｂｂ24＋ｂｂ44）／４が求められて格納される。

このように、低輝度均一光照射時における各画素のＲＧＢ信号を線形変換用メモリ６１ａに格納するとともに、その平均値ｒav，ｇav，ｂavを平均値演算部６３に格納すると、メモリ制御部６２によって線形変換用メモリ６１ａから読み出されたＲＧＢ信号がＦＰＮ成分抽出部６４に送出されるように、スイッチＳＷ２の接点を切り換える（ＳＴＥＰ５）。その後、メモリ制御部６２により線形変換用メモリ６１ａからＲＧＢ信号が読み出されると、スイッチＳＷ２を介して読み出されたＲＧＢ信号がＦＰＮ成分抽出部６４に与えられ、平均値演算部６３から与えられるＲＧＢ信号の平均値が減算されて、各画素の線形変換用ＦＰＮ成分が抽出される（ＳＴＥＰ６）。このように画素毎に抽出された線形変換用ＦＰＮ成分は、メモリ制御部６２に与えられた後、メモリ制御部６２によって各画素毎に線形変換用メモリ６１ａに格納される。

このとき、ＦＰＮ成分抽出部６４は、図１０のように、メモリ制御部６２によって画像メモリ６１より読み出されたＲＧＢ信号それぞれが入力される減算回路６４ｒ，６４ｇ，６４ｂを備える。そして、この減算回路６４ｒ，６４ｇ，６４ｂそれぞれに対して平均値演算部６３よりＲＧＢ信号の平均値ｒav，ｇav，ｂavが入力される。よって、色フィルタが画素Ｇ11〜Ｇ44に対して図２のように設けられているとき、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33におけるＲ信号ｒｂ11，ｒｂ31，ｒｂ13，ｒｂ33がそれぞれ減算回路６４ｒに与えられて、Ｒ信号の平均値ｒavが減算されると、画像メモリ６１では、線形変換用メモリ６１ａに、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33に対して線形変換用ＦＰＮ成分ｆ11＝ｒｂ11−ｒav，ｆ31＝ｒｂ31−ｒav，ｆ13＝ｒｂ13−ｒav，ｆ33＝ｒｂ33−ｒavが格納される。

同様に、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34におけるＧ信号ｇｂ21，ｇｂ41，ｇｂ12，ｇｂ32，ｇｂ23，ｇｂ43，ｇｂ14，ｇｂ34がそれぞれ減算回路６４ｇに与えられて、Ｇ信号の平均値ｇavが減算されると、画像メモリ６１では、線形変換用メモリ６１ａに、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34に対して線形変換用ＦＰＮ成分ｆ21＝ｇｂ21−ｇav，ｆ41＝ｇｂ41−ｇav，ｆ12＝ｇｂ12−ｇav，ｆ32＝ｇｂ32−ｇav，ｆ23＝ｇｂ23−ｇav，ｆ43＝ｇｂ43−ｇav，ｆ14＝ｇｂ14−ｇav，ｆ34＝ｇｂ34−ｇavが格納される。又、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44におけるＢ信号ｂｂ22，ｂｂ42，ｂｂ24，ｂｂ44がそれぞれ減算回路６４ｂに与えられて、Ｂ信号の平均値ｂavが減算されると、画像メモリ６１では、線形変換用メモリ６１ａに、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44に対して線形変換用ＦＰＮ成分ｆ22＝ｂｂ22−ｂav，ｆ42＝ｂｂ42−ｂav，ｆ24＝ｂｂ24−ｂav，ｆ44＝ｂｂ44−ｂavが格納される。

このように、低輝度均一光照射時のＲＧＢ信号それぞれに対してＲＧＢ信号それぞれの平均値ｒav，ｇav，ｂavを減算した値を線形変換用ＦＰＮ成分として抽出することで、抽出した線形変換動作時のＦＰＮ成分を、低輝度均一光照射時に格納された各画素のＲＧＢ信号より各色フィルタの透過率によるオフセットを除いた値とすることができる。即ち、図２の例の場合、低輝度均一光照射時に黒基準補正回路５より与えられる画素Ｇ11〜Ｇ44によるＲＧＢ信号の値が図１１（ａ）の実線のようになるとき、図１１（ａ）の点線で表されるＲＧＢ信号それぞれの平均値ｒav，ｇav，ｂavが減算される。よって、抽出される画素Ｇ11〜Ｇ44の線形変換用ＦＰＮ成分が図１１（ｂ）のようになり、各色フィルタの透過率によるオフセットを除いた値とすることができる。

このようにして、低輝度均一光照射時に得られたＲＧＢ信号より線形変換用ＦＰＮ成分を各画素毎に抽出して、線形変換用メモリ６１ａに格納すると、次に、高輝度均一光が固体撮像素子２に照射されて、ＦＰＮ補正回路６ａにおいて、対数変換用ＦＰＮ成分の抽出動作が行われる。このＦＰＮ補正回路６ａにおいて、高輝度均一光照射時における対数変換用ＦＰＮ成分の抽出動作が行われるとき、上述した低輝度均一光照射時における線形変換用ＦＰＮ成分の抽出動作と同様、図９のフローチャートに従って動作が行われる。このとき、メモリ制御部６２によって画像メモリ６１内の対数変換用メモリ６１ｂの書き込み制御及び読み出し制御が行われるとともに、スイッチＳＷ１，ＳＷ２及び平均値演算部６３及びＦＰＮ成分抽出部６４が、線形変換用ＦＰＮ成分の抽出動作時と同一の動作を行う。

即ち、高輝度均一光照射時に黒基準補正回路５から与えられるＲＧＢ信号が、対数変換用メモリ６１ｂに格納されるとともに、平均値演算部６３に与えられてＲＧＢ信号の平均値が求められる。そして、対数変換用メモリ６１ｂ内のＲＧＢ信号と平均値演算部６３で求められたＲＧＢ信号の平均値とが、ＦＰＮ成分抽出部６４に与えられて、対数変換用ＦＰＮ成分が求められる。この得られた各画素毎に対数変換用ＦＰＮ成分が、対数変換用メモリ６１ｂに格納される。

このようにして線形変換用ＦＰＮ成分及び対数変換用ＦＰＮ成分がそれぞれ、ＦＰＮ成分抽出部６４で抽出されて、画像メモリ６１の線形変換用メモリ６１ａ及び対数変換用メモリ６１ｂそれぞれに格納されると、黒基準補正回路５から与えられるＲＧＢ信号がＦＰＮ成分除去部６５に送出されるように、スイッチＳＷ１の接点を切り換える。そして、次に、メモリ制御部６２によって画像メモリ６１から読み出されたＦＰＮ成分がＦＰＮ成分除去部６５に送出されるように、スイッチＳＷ２の接点を切り換える。このようにすることで、通常動作時に得られたＲＧＢ信号が黒基準補正回路５から与えられるとき、これらのＲＧＢ信号は、ＦＰＮ成分除去部６５において各画素毎に画像メモリ６１に記憶されているＦＰＮ成分が除去される。

このＦＰＮ成分除去部６５を用いたＦＰＮ成分除去動作について、以下に説明する。固体撮像素子２において撮像動作が行われることで得られた各画素のＲＧＢ信号が、黒基準補正回路５からＦＰＮ補正回路６ａに与えられると、スイッチＳＷ１を介して、ＦＰＮ成分除去部６５及び比較器６６に与えられる。そして、比較器６６では、図１２のように、黒基準補正回路５から与えられるＲＧＢ信号がそれぞれ比較器６６ｒ，６６ｇ，６６ｂに入力される。この比較器６６ｒ，６６ｇ，６６ｂそれぞれには、全体制御部１３よりＲＧＢ信号それぞれに対する光電変換特性の変極点となる信号の値Ｖｒth，Ｖｇth，Ｖｂthが与えられる。

よって、比較器６６ｒにおいて、黒基準補正回路５から与えられるＲ信号の値と変極点となる値Ｖｒthを比較して、Ｒ信号の値が変極点の値Ｖｒth以上となるときは、与えられたＲ信号が対数変換特性による信号であるものとし、Ｒ信号の値が変極点の値Ｖｒthより小さいときは、与えられたＲ信号が線形変換特性による信号であるものとする。同様に、比較器６６ｇにおいて、Ｇ信号の値が変極点の値Ｖｇth以上となるときは、与えられたＧ信号が対数変換特性による信号であるものとし、Ｇ信号の値が変極点の値Ｖｇthより小さいときは、与えられたＧ信号が線形変換特性による信号であるものとする。又、比較器６６ｂにおいて、Ｂ信号の値が変極点の値Ｖｂth以上となるときは、与えられたＢ信号が対数変換特性による信号であるものとし、Ｂ信号の値が変極点の値Ｖｂthより小さいときは、与えられたＢ信号が線形変換特性による信号であるものとする。

このように比較器６６内において各画素毎に比較器６６ｒ〜６６ｂが動作することで、各画素からのＲＧＢ信号それぞれに対して、線形変換特性による信号と対数変換特性による信号のいずれかであるか判断される。そして、この比較器６６ｒ〜６６ｂからの比較結果が各画素毎に比較器６６よりメモリ制御部６２に与えられると、メモリ制御部６２では、その比較結果に応じて、画像メモリ６１の線形変換用メモリ６１ａ及び対数変換用メモリ６１ｂそれぞれに格納された線形変換用ＦＰＮ成分及び対数変換用ＦＰＮ成分のいずれを読み出すかを決定する。

又、ＦＰＮ成分除去部６５では、図１３のように、黒基準補正回路５から与えられるＲＧＢ信号がそれぞれ減算回路６５ｒ，６５ｇ，６５ｂに入力される。そして、黒基準補正回路５からのＲ信号が入力される減算回路６５ｒでは、そのＲ信号を出力した画素のＦＰＮ成分がメモリ制御部６２より与えられて、Ｒ信号からＦＰＮ成分を減算する。又、黒基準補正回路５からのＧ信号が入力される減算回路６５ｇでは、そのＧ信号を出力した画素のＦＰＮ成分がメモリ制御部６２より与えられて、Ｇ信号からＦＰＮ成分を減算する。又、黒基準補正回路５からのＢ信号が入力される減算回路６５ｂでは、そのＢ信号を出力した画素のＦＰＮ成分がメモリ制御部６２より与えられて、Ｂ信号からＦＰＮ成分を減算する。

よって、色フィルタが画素Ｇ11〜Ｇ44に対して図２のように設けられているとき、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33におけるＲ信号ｒ11，ｒ31，ｒ13，ｒ33がそれぞれ、黒基準補正回路５から減算回路６５ｒに入力されるとき、画像メモリ６１より読み出された画素Ｇ11，Ｇ31，Ｇ13，Ｇ33におけるＦＰＮ成分ｆ11，ｆ31，ｆ13，ｆ33がメモリ制御部６２から減算回路６５ｒに与えられる。そして、減算回路６５ｒから、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33に対するＲ信号がそれぞれ、ｒ11−ｆ11、ｒ31−ｆ31、ｒ13−ｆ13、ｒ33−ｆ33となり、ＦＰＮ補正されてＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８に出力される。

又、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34におけるＧ信号ｇ21，ｇ41，ｇ12，ｇ32，ｇ23，ｇ43，ｇ14，ｇ34がそれぞれ、黒基準補正回路５から減算回路６５ｇに入力されるとき、画像メモリ６１より読み出された画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34におけるＦＰＮ成分ｆ21，ｆ41，ｆ12，ｆ32，ｆ23，ｆ43，ｆ14，ｆ34がメモリ制御部６２から減算回路６５ｇに与えられる。そして、減算回路６５ｇから、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34に対するＧ信号がそれぞれ、ｇ21−ｆ21、ｇ41−ｆ41、ｇ12−ｆ12、ｇ32−ｆ32、ｇ23−ｆ23、ｇ43−ｆ43、ｇ14−ｆ14、ｇ34−ｆ34となり、ＦＰＮ補正されてＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８に出力される。

又、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44におけるＢ信号ｂ22，ｂ42，ｂ24，ｂ44がそれぞれ、黒基準補正回路５から減算回路６５ｂに入力されるとき、画像メモリ６１より読み出された画素Ｇ22，Ｇ42，Ｇ24，Ｇ44におけるＦＰＮ成分ｆ22，ｆ42，ｆ24，ｆ44がメモリ制御部６２から減算回路６５ｂに与えられる。そして、減算回路６５ｂから、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44に対するＢ信号がそれぞれ、ｂ22−ｆ22、ｂ42−ｆ42、ｂ24−ｆ24、ｂ44−ｆ44となり、ＦＰＮ補正されてＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８に出力される。

よって、上述のように動作する画像メモリ６１、メモリ制御部６２、ＦＰＮ成分除去部６５、及び比較器６６の関係が、図１４のように表される。即ち、メモリ制御部６２に相当するセレクタ１００が、比較器６６の比較結果に応じて、画像メモリ６１より、線形変換用メモリ６１ａ内の線形変換用ＦＰＮ成分と対数変換用メモリ６１ｂ内の対数変換用ＦＰＮ成分のいずれかを選択し、ＦＰＮ成分除去部６５に相当する減算器１０１に与える。このとき、各画素から出力される信号毎にＦＰＮ成分除去動作が行われる。

よって、比較器６６によって黒基準補正回路５より与えられる信号が線形変換動作時の信号であることが確認されると、メモリ制御部６２であるセレクタ１００が、線形変換用メモリ６１ａ内の線形変換用ＦＰＮ成分を選択して、ＦＰＮ成分除去部６５となる減算器１０１に与えられる。そして、この減算器１０１において、黒基準補正回路５より与えられる信号が同一画素の線形変換用ＦＰＮ成分を減算することで、ＦＰＮ成分が除去された信号が出力される。又、比較器６６によって黒基準補正回路５より与えられる信号が対数変換動作時の信号であることが確認されると、セレクタ１００が、対数変換用メモリ６１ｂ内の対数変換用ＦＰＮ成分を選択して、減算器１０１に与えられる。そして、この減算器１０１において、黒基準補正回路５より与えられる信号が同一画素の対数変換用ＦＰＮ成分を減算することで、ＦＰＮ成分が除去された信号が出力される。

本実施形態において、上述のようにＦＰＮ補正回路６ａがＦＰＮ成分を除去する際、黒基準補正回路５から出力される信号が線形変換特性又は対数変換特性のいずれによる信号であるかを確認し、それぞれの光電変換特性に応じたＦＰＮ成分により動作することができる。そのため、更に、上述のようにＦＰＮ補正回路６ａがＲＧＢ信号毎に動作することによって、ＦＰＮ補正が施されたＲＧＢ信号には、色フィルタの透過率の差によって生じるオフセットが含まれることとなり、色フィルタの透過率の差によって生じるオフセットを含めて除去した場合と比べて、後段のＷＢ制御回路８における演算処理を単純化することができる。

＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。尚、図１５は、本実施形態の撮像装置におけるＦＰＮ補正回路の内部構成を示すブロック図である。又、図１５のＦＰＮ補正回路において、図８のＦＰＮ補正回路と同一の目的で使用する部分については、同一の符号を付してその詳細な説明は省略する。

本実施形態の撮像装置におけるＦＰＮ補正回路６ｂ（図１のＦＰＮ補正回路６に相当する）は、図１５に示すように、図８の構成と異なり、比較器６６が除かれるとともに、スイッチＳＷ２を介してＦＰＮ成分除去部６５に与えられるＦＰＮ成分を増幅するＦＰＮ成分増幅部６７が付加される。又、画像メモリ６１には、第１の実施形態と異なり、１種類の均一光が照射されたときに得られるＦＰＮ成分が格納される。即ち、本実施形態の撮像装置においては、ＦＰＮ成分抽出動作が一度だけ行われ、第１の実施形態のように、均一光の輝度値を変更してＦＰＮ成分抽出動作を二度行うことがない。

このようにＦＰＮ補正回路６ｂが構成されるとき、第１の実施形態と同様、固体撮像素子２に均一光が照射されると、ＦＰＮ補正回路６ｂが図９のフローチャートに従って動作することで、黒基準補正回路５より与えられるＲＧＢ信号より各画素のＦＰＮ成分が抽出される。即ち、黒基準補正回路５から出力されるＲＧＢ信号が、画素毎にスイッチＳＷ１を介してメモリ制御部６２に与えられると、画像メモリ６１に格納されるとともに、スイッチＳＷ２を介して平均値演算部６３に与えられる。そして、平均値演算部６３では、ＲＧＢ信号毎の平均値が求められる。

そして、黒基準補正回路５より固体撮像素子２を構成する全ての画素からの信号が与えられて画像メモリ６１に格納すると、スイッチＳＷ２を介して画像メモリ６１内のＲＧＢ信号を各画素毎に読み出してＦＰＮ成分抽出部６４に与える。このＦＰＮ成分抽出部６４では、各画素毎に、ＲＧＢ信号それぞれから平均値演算部６３で求められたＲＧＢ信号それぞれの平均値を減算して、各画素におけるＦＰＮ成分を抽出する。このようにして得られた各画素のＦＰＮ成分は、メモリ制御部６２に与えられて画像メモリ６１に格納される。

このようにして、各画素のＦＰＮ成分が画像メモリ６１に格納されると、固体撮像素子２が撮像動作したときに得られる黒基準補正回路５からのＲＧＢ信号がＦＰＮ成分除去部６５に与えられて、各画素のＲＧＢ信号よりＦＰＮ成分が除去される。このとき、全体制御部１３よりＦＰＮ成分増幅部６７に対して、固体撮像素子２内に設けられた内部アンプやアンプ３に対して設定された増幅率を示すゲイン情報が与えられる。そして、ＦＰＮ成分増幅率６７では、このゲイン情報によって、メモリ制御部６２によって画像メモリ６１より読み出されるとともにスイッチＳＷ２を介して与えられるＦＰＮ成分を増幅する増幅率が設定される。

即ち、固体撮像素子２に均一光が入射されてＦＰＮ補正回路６ｂでＦＰＮ成分抽出動作が行われるとき、固体撮像素子２内の内部アンプの増幅率が１．０であるとともに、アンプ３の増幅率が２．０であったとする。そして、撮像動作を行う際に、固体撮像素子２内の内部アンプの増幅率を１．０とするとともに、アンプ３の増幅率を４．０とすると、これらの増幅率を表すゲイン情報がＦＰＮ補正回路６ｂのＦＰＮ成分増幅部６７に与えられる。このようなゲイン情報が与えられるＦＰＮ成分増幅部６７では、スイッチＳＷ２を介して与えられるＦＰＮ成分を増幅する増幅率を２．０と設定する。即ち、ＦＰＮ成分抽出動作時における固体撮像素子２の内部アンプ及びアンプ３の増幅率に対する撮像時の増幅率の変化に基づいて、ＦＰＮ成分増幅部６７における増幅率が設定される。

このようにして、ＦＰＮ成分増幅部６７における増幅率が設定されると、各画素毎に画像メモリ６１より読み出されたＦＰＮ成分がメモリ制御部６２からスイッチＳＷ２を介して与えられる。そして、このＦＰＮ成分増幅部６７において、スイッチＳＷ２に与えられた各画素のＦＰＮ成分を、設定された増幅率で増幅して、ＦＰＮ成分除去部６５に送出する。このＦＰＮ成分増幅部６７で増幅された各画素のＦＰＮ成分が、ＦＰＮ成分除去部６５に与えられて、黒基準補正部５より与えられる各画素のＲＧＢ信号より減算されると、ＦＰＮ成分が除去されたＲＧＢ信号が画素毎にＷＢ制御部８に出力される。

よって、上述のように動作する画像メモリ６１、ＦＰＮ成分除去部６５、及びＦＰＮ成分増幅部６７の関係が、図１６のように表される。尚、図１６において、図１４と同一の部分については同一の符号を付す。即ち、ＦＰＮ成分増幅部６７に相当する乗算器１０２が、画像メモリ６１より読み出されたＦＰＮ成分に対して、固体撮像素子２の内部アンプ及びアンプ３それぞれの増幅率の変化量に応じた値を乗算係数として乗算する。この乗算されたＦＰＮ成分が、ＦＰＮ成分除去部６５に相当する減算器１０１に与えられて、各画素から出力される信号毎にＦＰＮ成分除去動作が行われる。

本実施形態において、上述のようにＦＰＮ補正回路６ｂが動作することによって、固体撮像素子２の内部アンプ及びアンプ３それぞれの増幅率の変化に応じたＦＰＮ補正を行うことができる。そのため、第１の実施形態と異なり、固体撮像素子２やアンプ３の動作設定が変更された場合においても、ＦＰＮ成分の抽出動作を再度行う必要がなくなる。

＜第３の実施形態＞
本発明の第３の実施形態について、図面を参照して説明する。尚、図１７は、本実施形態の撮像装置におけるＦＰＮ補正回路の内部構成を示すブロック図である。又、図１７のＦＰＮ補正回路において、図８及び図１５のＦＰＮ補正回路と同一の目的で使用する部分については、同一の符号を付してその詳細な説明は省略する。

本実施形態の撮像装置におけるＦＰＮ補正回路６ｃ（図１のＦＰＮ補正回路６に相当する）は、図１７に示すように、図８の構成に、図１５のＦＰＮ補正回路６ｂに備えられたＦＰＮ成分増幅部６７が付加された構成となる。即ち、本実施形態においては、第１の実施形態と同様、低輝度均一光及び高輝度均一光の２種類の均一光を固体撮像素子２に照射することで、線形変換用ＦＰＮ成分と対数変換用ＦＰＮ成分を抽出する。又、第２の実施形態と同様、固体撮像素子２内の内部アンプとアンプ３それぞれの増幅率の変化に応じてＦＰＮ成分を変化させて、ＲＧＢ信号からのＦＰＮ成分の除去を行う。

このようにＦＰＮ補正回路６ｃが構成されるとき、第１の実施形態と同様、固体撮像素子２に低輝度均一光及び高輝度均一光それぞれが照射されると、ＦＰＮ補正回路６ｃが図９のフローチャートに従って動作する。そして、低輝度均一光照射時において、黒基準補正回路５より与えられるＲＧＢ信号より各画素の線形変換用ＦＰＮ成分が抽出されて、この線形変換用ＦＰＮ成分が線形変換用メモリ６１ａに格納され、又、高輝度均一光照射時において、黒基準補正回路５より与えられるＲＧＢ信号より対数変換用ＦＰＮ成分が抽出されて、この対数変換用ＦＰＮ成分が対数変換用メモリ６１ｂに格納される。

このようにして、各画素の線形変換用ＦＰＮ成分及び対数変換用ＦＰＮ成分が得られて画像メモリ６１内に格納されると、固体撮像素子２において撮像動作が行われる。この撮像動作時のＲＧＢ信号が各画素毎に黒基準補正回路５より与えられると、比較器６６において与えられたＲＧＢ信号の信号値より、その信号を出力した画素の光電変換特性が線形変換特性及び対数変換特性のいずれであるか確認される。そして、線形変換特性であるものと判断された場合は、メモリ制御部６２によって画像メモリ６１から線形変換用ＦＰＮ成分が読み出されて、スイッチＳＷ２を介してＦＰＮ成分増幅部６７に与えられる。又、同様に、対数変換特性であるものと判断された場合は、メモリ制御部６２によって画像メモリ６１から対数変換用ＦＰＮ成分が読み出されて、スイッチＳＷ２を介してＦＰＮ成分増幅部６７に与えられる。

そして、ＦＰＮ成分増幅部６７では、固体撮像素子２内に設けられた内部アンプやアンプ３における増幅率の変化に基づいて設定された増幅率によって、スイッチＳＷ２を介してメモリ制御部６２より与えられる線形変換用ＦＰＮ成分又は対数変換用ＦＰＮ成分を増幅する。このようにしてＦＰＮ成分増幅部６７で増幅された線形変換用ＦＰＮ成分又は対数変換用ＦＰＮ成分と、黒基準補正回路５より出力されるＲＧＢ信号とが、同一の画素のものとなるように同期されてＦＰＮ成分除去部６５に与えられる。そして、ＦＰＮ成分除去部６５において、このＦＰＮ成分とＲＧＢ信号との減算処理が行われることによって、ＦＰＮ成分が除去されたＲＧＢ信号が画素毎にＷＢ制御部８に出力される。

よって、上述のように動作する画像メモリ６１、メモリ制御部６２、ＦＰＮ成分除去部６５、比較器６６、及びＦＰＮ成分増幅部６７の関係が、図１８のように表される。尚、図１８において、図１４及び図１６と同一の部分については同一の符号を付す。即ち、メモリ制御部６２に相当するセレクタ１００が、比較器６６の比較結果に応じて、画像メモリ６１より線形変換用ＦＰＮ成分と対数変換用ＦＰＮ成分のいずれかを選択する。そして、ＦＰＮ成分増幅部６７に相当する乗算器１０２が、セレクタ１００で選択されたＦＰＮ成分に対して、固体撮像素子２の内部アンプ及びアンプ３それぞれの増幅率の変化量に応じた値を乗算係数として乗算する。この乗算されたＦＰＮ成分が、ＦＰＮ成分除去部６５に相当する減算器１０１に与えられて、各画素から出力される信号毎にＦＰＮ成分除去動作が行われる。

このように、本実施形態においては、第１の実施形態と同様、画素の光電変換特性に応じたＦＰＮ成分を用いてＦＰＮ成分の除去を行うことができるとともに、更に、このＦＰＮ成分を、第２の実施形態と同様、固体撮像素子２の内部アンプ及びアンプ３の増幅率の変化に応じて変化させることができる。よって、第２の実施形態と同様、固体撮像素子２やアンプ３の動作設定が変更された場合においても、ＦＰＮ成分の抽出動作を再度行う必要がなくなる。

＜第４の実施形態＞
本発明の第４の実施形態について、図面を参照して説明する。尚、図１９は、本実施形態の撮像装置におけるＦＰＮ補正回路の内部構成を示すブロック図である。又、図１９のＦＰＮ補正回路において、図１７のＦＰＮ補正回路と同一の目的で使用する部分については、同一の符号を付してその詳細な説明は省略する。

本実施形態の撮像装置におけるＦＰＮ補正回路６ｄ（図１のＦＰＮ補正回路６に相当する）は、図１９に示すように、図１７の構成における比較器６６の代わりに、１フレーム分の信号より得られるヒストグラムを解析するヒストグラム解析部６８が設けられた構成となる。又、ヒストグラム解析部６８は、図２０に示すように、黒基準補正回路５より出力されるＲＧＢ信号それぞれが与えられてＲＧＢ信号それぞれのヒストグラムを形成するヒストグラム形成部６８ｒ，６８ｇ，６８ｂと、ヒストグラム形成部６８ｒ，６８ｇ，６８ｂで得られたＲＧＢ信号それぞれのヒストグラムより得られる線形変換動作及び対数変換動作それぞれを行う画素数（度数）の大小を比較する判定部６８ａと、を備える。

このようにＦＰＮ補正回路６ｄが構成されるとき、第１の実施形態と同様、固体撮像素子２に低輝度均一光及び高輝度均一光それぞれを固体撮像素子２に照射するとともに、ＦＰＮ補正回路６ｄが図９のフローチャートに従って動作することで、線形変換用ＦＰＮ成分と対数変換用ＦＰＮ成分とを抽出する。そして、このようにして抽出された線形変換用ＦＰＮ成分と対数変換用ＦＰＮ成分とをそれぞれ、画像メモリ６１の線形変換用メモリ６１ａと対数変換用メモリ６１ｂに格納する。

このようにして、各画素の線形変換用ＦＰＮ成分及び対数変換用ＦＰＮ成分が得られて画像メモリ６１内に格納されると、固体撮像素子２において撮像動作が行われる。この撮像動作時のＲＧＢ信号が各画素毎に黒基準補正回路５より与えられると、スイッチＳＷ１を介してヒストグラム解析部６８及びＦＰＮ成分除去部６５に入力される。そして、ヒストグラム解析部６８では、ＲＧＢ信号それぞれがヒストグラム形成部６８ｒ，６８ｇ，６８ｂそれぞれに与えられ、その値が確認されることで、ＲＧＢ信号それぞれにおける各輝度に対する度数を表すヒストグラムが形成される。

即ち、ヒストグラム形成部６８ｒでは、Ｒ信号を出力する全画素の値を確認することで、各輝度値に対する画素数に相当する度数を確認し、Ｒ信号に対するヒストグラムが形成される。同様に、ヒストグラム形成部６８ｇ，６８ｂそれぞれにおいては、Ｇ信号及びＢ信号それぞれを出力する全画素の値を確認することで、Ｇ信号及びＢ信号それぞれに対するヒストグラムが形成される。このように、ヒストグラム形成部６８ｒ〜６８ｂにおいてＲＧＢ信号それぞれのヒストグラムが形成されると、このＲＧＢ信号のヒストグラムが判定部６８ａに与えられる。

そして、判定部６８ａにおいて、ＲＧＢ信号それぞれのヒストグラムを確認することで、低輝度側に度数が多い場合は、線形変換特性による撮像が行われたものと判定し、又、高輝度側に度数が多い場合は、対数変換特性による撮像が行われたものと判定する。即ち、ＲＧＢ信号それぞれの出力値に対して、光電変換特性の変わる変極点として閾値Ｖｒth，Ｖｇth，Ｖｂthを設けたとき、ＲＧＢ信号それぞれのヒストグラムより、閾値Ｖｒth，Ｖｇth，Ｖｂth以下の値における度数（「低輝度側の度数」とする）と、閾値Ｖｒth，Ｖｇth，Ｖｂthより大きい値における度数（「高輝度側の度数」とする）とを確認する。そして、得られた低輝度側及び高輝度側それぞれの度数を比較して、低輝度側の度数が多いとき、線形変換特性による撮像が行われたものと判定し、又、高輝度側の度数が多いときは、対数変換特性による撮像が行われたものと判定する。

この判定部６８ａにおける判定結果が、ヒストグラム解析部６８からメモリ制御部６２に送出される。よって、ヒストグラム解析部６８において、線形変換特性による撮像が行われたものと判定されたとき、メモリ制御部６２によって画像メモリ６１より線形変換用メモリ６１ａに格納された線形変換用ＦＰＮ成分が読み出され、又、対数変換特性による撮像が行われたものと判定されたとき、メモリ制御部６２によって画像メモリ６１より対数変換用メモリ６１ｂに格納された対数変換用ＦＰＮ成分が読み出される。

このようにして、読み出された線形変換用ＦＰＮ成分又は対数変換用ＦＰＮ成分が、スイッチＳＷ２を介してＦＰＮ成分増幅部６７において、固体撮像素子２内の内部アンプとアンプ３それぞれの増幅率の変化に応じてＦＰＮ成分を変化された後、ＦＰＮ成分除去部６５に与えられる。そして、ＦＰＮ成分除去部６５において、このＦＰＮ成分とＲＧＢ信号との減算処理が行われることによって、ＦＰＮ成分が除去されたＲＧＢ信号が画素毎にＷＢ制御部８に出力される。

よって、上述のように動作する画像メモリ６１、メモリ制御部６２、ＦＰＮ成分除去部６５、ＦＰＮ成分増幅部６７、及びヒストグラム解析部６８の関係が、図２１のように表される。尚、図２１において、図１８と同一の部分については同一の符号を付す。即ち、セレクタ１００が、ヒストグラム解析部６８の判定結果に応じて、画像メモリ６１より線形変換用ＦＰＮ成分と対数変換用ＦＰＮ成分のいずれかを選択する。そして、乗算器１０２において、セレクタ１００で選択されたＦＰＮ成分に対して、設定した乗算係数が乗算された後に、ＦＰＮ成分除去部６５に相当する減算器１０１に与えられて、各画素から出力される信号毎にＦＰＮ成分除去動作が行われる。

このように、本実施形態においては、第３の実施形態と異なり、１フレームを構成するＲＧＢ信号それぞれのヒストグラムに基づいて、固体撮像素子２においてより多くの画素が行っている光電変換特性に応じたＦＰＮ成分を用いて、各画素の信号よりＦＰＮ成分の除去を行う。即ち、線形変換動作を行う画素の割合が多い場合は、全ての画素に対して、線形変換用ＦＰＮ成分が選択され、又、対数変換動作を行う画素の割合が多い場合は、全ての画素に対して、対数変換用ＦＰＮ成分が選択される。

＜第５の実施形態＞
本発明の第５の実施形態について、図面を参照して説明する。尚、図２２は、本実施形態の撮像装置におけるＦＰＮ補正回路の内部構成を示すブロック図である。又、図２２のＦＰＮ補正回路において、図１９のＦＰＮ補正回路と同一の目的で使用する部分については、同一の符号を付してその詳細な説明は省略する。

本実施形態の撮像装置におけるＦＰＮ補正回路６ｅ（図１のＦＰＮ補正回路６に相当する）は、図２２に示すように、画像メモリ６１が線形変換用メモリ６１ａのみを備えるとともに、図１９の構成に、線形変換用メモリ６１ａより読み出された線形変換用ＦＰＮ成分を対数変換用ＦＰＮ成分に変換する線形／対数変換部６９と、メモリ制御部６２によって読み出された線形変換用ＦＰＮ成分をＦＰＮ成分増幅部６７と線形／対数変換部６９のいずれに出力するか切り換えるスイッチＳＷ３と、を付加した構成となる。

このようにＦＰＮ補正回路６ｅが構成されるとき、第４の実施形態と異なり、固体撮像素子２に低輝度均一光のみを固体撮像素子２に照射するとともに、ＦＰＮ補正回路６ｅが図９のフローチャートに従って動作することで、線形変換用ＦＰＮ成分を抽出して、画像メモリ６１の線形変換用メモリ６１ａに格納する。その後、固体撮像素子２において撮像動作が開始され、ＲＧＢ信号が各画素毎に黒基準補正回路５より与えられると、スイッチＳＷ１を介してヒストグラム解析部６８及びＦＰＮ成分除去部６５に入力される。

そして、ヒストグラム解析部６８では、ＲＧＢ信号のヒストグラムを形成し、低輝度側の度数と高輝度側の度数とを比較することにより、線形変換特性及び対数変換特性のいずれで撮像された割合が高いか判定する。このとき、低輝度側の度数が多く、線形変換特性による撮像が行われたものと判定した場合は、スイッチＳＷ３の接点をＦＰＮ成分増幅部６７側に接続する。よって、メモリ制御部６２によって読み出された線形変換用ＦＰＮ成分が、画素毎にＦＰＮ成分増幅部６７に与えられて増幅された後、ＦＰＮ成分除去部６５に送出される。

又、高輝度側の度数が多く、対数変換特性による撮像が行われたものと判定した場合は、スイッチＳＷ３の接点を線形／対数変換部６９側に接続する。よって、メモリ制御部６２によって読み出された線形変換用ＦＰＮ成分が、画素毎に線形／対数変換部６９に与えられるため、画素毎に与えられる線形変換用ＦＰＮ成分が対数変換用ＦＰＮ成分に変換される。そして、この線形／対数変換部６９で得られた各画素の対数変換用ＦＰＮ成分が画素毎にＦＰＮ成分増幅部６７に与えられて増幅された後、ＦＰＮ成分除去部６５に送出される。

このように、ヒストグラム解析部６８の判定結果に応じて、画像メモリ６１内の線形変換用ＦＰＮ成分をＦＰＮ成分除去に使用するか、又は、この線形変換用ＦＰＮ成分に基づいて線形／対数変換部６９で得られた対数変換用ＦＰＮ成分をＦＰＮ成分除去に使用するかを決定する。そのため、ＦＰＮ成分除去部６５では、第４の実施形態と同様、ヒストグラム解析部６８の判定結果に応じて、フィールド毎に設定される線形変換用ＦＰＮ成分又は対数変換用ＦＰＮ成分のいずれかを用いて、各画素のＲＧＢ信号よりＦＰＮ成分を除去する。

よって、上述のように動作する画像メモリ６１、メモリ制御部６２、ＦＰＮ成分除去部６５、ＦＰＮ成分増幅部６７、ヒストグラム解析部６８、線形／対数変換部６９、及びスイッチＳＷ３の関係が、図２３のように表される。尚、図２３において、図２１と同一の部分については同一の符号を付す。即ち、セレクタ１００の代わりに、線形／対数変換部６９とスイッチＳＷ３とで構成されるＦＰＮ成分変換部１０３が設置された構成となり、このＦＰＮ成分変換部１０３に対してヒストグラム解析部６８が判定結果を送出する。

このとき、ＦＰＮ成分変換部１０３において、低輝度側の度数が多い場合は、画像メモリ６１より読み出した線形変換用ＦＰＮ成分をそのまま乗算器１０２に出力し、又、高輝度側の度数が多い場合は、画像メモリ６１より読み出した線形変換用ＦＰＮ成分を対数変換用ＦＰＮ成分に変換して、乗算器１０２に出力する。そして、乗算器１０２において、ＦＰＮ成分変換部１０３から出力されたＦＰＮ成分に対して、設定した乗算係数が乗算された後に、ＦＰＮ成分除去部６５に相当する減算器１０１に与えられて、各画素から出力される信号毎にＦＰＮ成分除去動作が行われる。

このように、本実施形態においては、第４の実施形態と同様、１フレームを構成するＲＧＢ信号それぞれのヒストグラムに基づいて、固体撮像素子２においてより多くの画素が行っている光電変換特性に応じたＦＰＮ成分を用いて、各画素の信号よりＦＰＮ成分の除去を行う。又、第４の実施形態と異なり、低輝度均一光のみによるＦＰＮ成分抽出動作を行って得た線形変換用ＦＰＮ成分のみを記憶するため、ＦＰＮ成分抽出動作にかかる時間を低減するとともに、画像メモリ６１の記憶容量を小さくすることができる。

＜第６の実施形態＞
本発明の第６の実施形態について、図面を参照して説明する。尚、図２４は、本実施形態の撮像装置におけるＦＰＮ補正回路の内部構成を示すブロック図である。又、図２４のＦＰＮ補正回路において、図２２のＦＰＮ補正回路と同一の目的で使用する部分については、同一の符号を付してその詳細な説明は省略する。

本実施形態の撮像装置におけるＦＰＮ補正回路６ｆ（図１のＦＰＮ補正回路６に相当する）は、図２４に示すように、図２２の構成と異なり、画像メモリ６１が対数変換用メモリ６１ｂのみを備えるとともに、図２２の構成における線形／対数変換部６９の代わりに、対数変換用メモリ６１ｂより読み出された対数変換用ＦＰＮ成分を線形変換用ＦＰＮ成分に変換する対数／線形変換部７０が設けられた構成となる。

よって、本実施形態においては、第５の実施形態と異なり、固体撮像素子２に高輝度均一光のみが固体撮像素子２に照射されて、対数変換用ＦＰＮ成分が画像メモリ６１に格納される。そして、固体撮像素子２において撮像動作が開始されると、第５の実施形態と同様、ヒストグラム解析部６８において、線形変換特性及び対数変換特性のいずれで撮像された割合が高いか判定する。

そして、対数変換特性による撮像が行われたものと判定した場合、メモリ制御部６２によって読み出された対数変換用ＦＰＮ成分が、ＦＰＮ成分増幅部６７で増幅された後、ＦＰＮ成分除去部６５に送出される。又、線形変換特性による撮像が行われたものと判定した場合は、メモリ制御部６２によって読み出された対数変換用ＦＰＮ成分が、対数／線形変換部７０において、線形変換用ＦＰＮ成分に変換される。そして、この対数／線形変換部７０で得られた線形変換用ＦＰＮ成分がＦＰＮ成分増幅部６７で増幅された後、ＦＰＮ成分除去部６５に送出される。

このように、ヒストグラム解析部６８の判定結果に応じて、画像メモリ６１内の対数変換用ＦＰＮ成分をＦＰＮ成分除去に使用するか、又は、この対数変換用ＦＰＮ成分に基づいて対数／線形変換部７０で得られた線形変換用ＦＰＮ成分をＦＰＮ成分除去に使用するかを決定する。そのため、ＦＰＮ成分除去部６５では、第５の実施形態と同様、ヒストグラム解析部６８の判定結果に応じて、フィールド毎に設定される線形変換用ＦＰＮ成分又は対数変換用ＦＰＮ成分のいずれかを用いて、各画素のＲＧＢ信号よりＦＰＮ成分を除去する。

よって、上述のように動作する画像メモリ６１、メモリ制御部６２、ＦＰＮ成分除去部６５、ＦＰＮ成分増幅部６７、ヒストグラム解析部６８、対数／線形変換部７０、及びスイッチＳＷ３の関係が、図２３における画像メモリ６１内の線形変換用メモリ６１ａを対数変換用メモリ６１ｂのみとした図２５のように表される。このとき、ＦＰＮ成分変換部１０３は、対数／線形変換部７０とスイッチＳＷ３とによる構成に相当するものとなる。

即ち、第５の実施形態と異なり、ＦＰＮ成分変換部１０３において、高輝度側の度数が多い場合は、画像メモリ６１より読み出した対数変換用ＦＰＮ成分をそのまま乗算器１０２に出力し、又、低輝度側の度数が多い場合は、画像メモリ６１より読み出した対数変換用ＦＰＮ成分を線形変換用ＦＰＮ成分に変換して、乗算器１０２に出力する。そして、乗算器１０２において、ＦＰＮ成分変換部１０３から出力されたＦＰＮ成分に対して、設定した乗算係数が乗算された後に、ＦＰＮ成分除去部６５に相当する減算器１０１に与えられて、各画素から出力される信号毎にＦＰＮ成分除去動作が行われる。

このように、本実施形態においては、第５の実施形態と同様、１フレームを構成するＲＧＢ信号それぞれのヒストグラムに基づいて、固体撮像素子２においてより多くの画素が行っている光電変換特性に応じたＦＰＮ成分を用いて、各画素の信号よりＦＰＮ成分の除去を行う。又、第５の実施形態と同様、高輝度均一光のみによるＦＰＮ成分抽出動作を行って得た対数変換用ＦＰＮ成分のみを記憶するため、ＦＰＮ成分抽出動作にかかる時間を低減するとともに、画像メモリ６１の記憶容量を小さくすることができる。

尚、第５及び第６の実施形態において、ヒストグラム解析部の代わりに、第１の実施形態における比較器を備えるものとし、各画素毎に、線形変換特性及び対数変換特性のじずれによる撮像であるか判定するものとしても構わない。

又、上述の各実施形態において、固体撮像素子を画像信号からノイズ信号を減算することで素子内で画素バラツキを除去するように動作するものとし、ＦＰＮ補正回路において画像信号内に更に残存するＦＰＮ成分を除去するようにしたが、固体撮像素子においてノイズ信号の読み出しを行うことなく、ＦＰＮ補正回路において画素バラツキなどにより発生するＦＰＮ成分全てを除去するようにしても構わない。

更に、上述の各実施形態において、固体撮像素子の撮像動作における光電変換特性や固体撮像素子又はアンプの増幅率などの駆動モードに基づいてＦＰＮ成分を設定するものとしたが、固体撮像素子におけるリセット時間や撮像するフレームレートなどの駆動タイミングによってＦＰＮ成分を設定し、ＦＰＮ成分除去を行うものとしても構わない。

は、本発明の撮像装置の構成を示すブロック図である。 は、固体撮像素子に設けられる色フィルタの配列を示す図である。 は、コアリング回路におけるエッジ成分に対するレベル変換特性を示すグラフである。 は、固体撮像素子の全体の構成を説明するためのブロック回路図。 は、図４の固体撮像素子を構成する画素の一構成例を示す回路図である。 は、図５の画素の動作を示すタイミングチャートである。 は、被写体の輝度と画素の出力との関係を示すグラフである。 は、第１の実施形態の撮像装置におけるＦＰＮ補正回路の構成を説明するためのブロック図である。 は、ＦＰＮ補正回路におけるＦＰＮ成分抽出動作を説明するための状態遷移図である。 は、ＦＰＮ成分抽出部の構成を示す図である。 は、ＦＰＮ補正回路のＦＰＮ成分抽出時の動作を説明するための図である。 は、比較器の構成を示す図である。 は、ＦＰＮ成分除去部の構成を示す図である。 は、第１の実施形態の撮像装置におけるＦＰＮ補正回路の構成の概要を説明するためのブロック図である。 は、第２の実施形態の撮像装置におけるＦＰＮ補正回路の構成を説明するためのブロック図である。 は、第２の実施形態の撮像装置におけるＦＰＮ補正回路の構成の概要を説明するためのブロック図である。 は、第３の実施形態の撮像装置におけるＦＰＮ補正回路の構成を説明するためのブロック図である。 は、第３の実施形態の撮像装置におけるＦＰＮ補正回路の構成の概要を説明するためのブロック図である。 は、第４の実施形態の撮像装置におけるＦＰＮ補正回路の構成を説明するためのブロック図である。 は、ヒストグラム解析部の構成を示す図である。 は、第４の実施形態の撮像装置におけるＦＰＮ補正回路の構成の概要を説明するためのブロック図である。 は、第５の実施形態の撮像装置におけるＦＰＮ補正回路の構成を説明するためのブロック図である。 は、第５の実施形態の撮像装置におけるＦＰＮ補正回路の構成の概要を説明するためのブロック図である。 は、第６の実施形態の撮像装置におけるＦＰＮ補正回路の構成を説明するためのブロック図である。 は、第６の実施形態の撮像装置におけるＦＰＮ補正回路の構成の概要を説明するためのブロック図である。

符号の説明

１ 光学系
２ 固体撮像素子
３ アンプ
４ ＡＤ変換回路
５ 黒基準補正回路
６ ＦＰＮ補正回路
７ ＡＥ・ＷＢ評価値検出回路
８ ＷＢ制御回路
９ 色補間回路
１０ 色補正回路
１１ 階調変換回路
１２ コアリング回路
１３ 全体制御部
１４ 絞り制御部
１５ タイミング生成回路

Claims (9)

1. 出力信号が入射光量に対して変化する電気信号を出力する画素を有する固体撮像素子を備える撮像装置において、
   前記各画素間の出力バラツキを表す固定パターンノイズ成分を前記固体撮像素子により撮像された画像の輝度又は前記撮像装置の駆動状態に対して設定する固定パターンノイズ設定部と、
   前記固体撮像素子が撮像動作を行うとき、当該撮像時における画像信号と前記固定パターンノイズ設定部で設定された前記固定パターンノイズ成分とが前記各画素毎に与えられ、該画像信号から該固定パターンノイズ成分を除去するノイズ成分除去部と、
   を備え、
   前記固体撮像素子が有する各画素には、複数種類の色フィルタのうちの１種類の色フィルタが設けられており、
   前記固定パターンノイズ設定部は、
   前記色フィルタの種類毎に、均一光が照射されたときの前記種類の色フィルタが設けられた画素からの画素信号の平均値を求める平均値演算部と、
   前記色フィルタの種類毎に、前記平均値演算部により求められた前記平均値を、前記種類の色フィルタが設けられた各画素の画素信号から減算することにより、前記固定パターンノイズ成分を抽出する固定パターンノイズ成分抽出部と、
   を有することを特徴とする撮像装置。
2. 前記固体撮像素子が、出力信号が入射光量に対して第１の特性で変化する電気信号を出力する第１領域と出力信号が入射光量に対して前記第１の特性と異なる第２の特性で変化する電気信号を出力する第２領域とを含む光電変換特性を示す画素を備えるとともに、
   前記固定パターンノイズ設定部が、前記第１及び第２の特性それぞれに対して前記固定パターンノイズ成分を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記固定パターンノイズ設定部が、
   前記第１の特性に対する前記固定パターンノイズ成分を前記画素毎に格納する第１メモリと、
   前記第２の特性に対する前記固定パターンノイズ成分を前記画素毎に格納する第２メモリと、
   前記固体撮像素子からの前記画像信号の信号値に基づいて、前記第１及び第２の特性のいずれによって撮像動作を行ったかを判定する判定部と、
   該判定部の判定結果に基づいて前記第１メモリ及び前記第２メモリに格納された前記固定パターンノイズ成分を前記画素毎に選択して前記ノイズ成分除去部に出力する選択部と、
   を備えることを特徴とする請求項２に記載の撮像装置。
4. 前記固定パターンノイズ設定部が、
   前記第１の特性に対する前記固定パターンノイズ成分を前記画素毎に格納するメモリと、
   前記固体撮像素子からの前記画像信号の信号値に基づいて、前記第１及び第２の特性のいずれによって撮像動作を行ったかを判定する判定部と、
   該判定部において前記第１の特性による撮像動作が行われたと判定されたとき、前記メモリから前記画素毎に読み出した前記固定パターンノイズ成分を前記ノイズ成分除去部に出力し、該判定部において前記第２の特性による撮像動作が行われたと判定されたとき、前記メモリから前記画素毎に読み出した前記固定パターンノイズ成分を前記第２の特性に対する固定パターンノイズ成分に変換して前記ノイズ成分除去部に出力するデータ変換部と、
   を備えることを特徴とする請求項２に記載の撮像装置。
5. 前記判定部が、前記第１及び第２の特性の変極点となる信号値と前記画像信号の信号値とを前記画素毎に比較することによって、前記第１及び第２の特性のいずれによって撮像動作を行ったか判定することを特徴とする請求項３又は請求項４に記載の撮像装置。
6. 前記判定部が、前記固体撮像素子から出力される複数の画素の画像信号の信号値に対する頻度を表すヒストグラムを求めるとともに、当該ヒストグラムに基づいて前記第１及び第２領域それぞれの頻度を比較することによって、前記第１及び第２の特性のいずれによって撮像動作を行ったか判定することを特徴とする請求項３又は請求項４に記載の撮像装置。
7. 前記第１の特性が入射光量に対して線形変換する光電変換特性であるとともに、前記第２の特性が入射光量に対して対数変換する光電変換特性であることを特徴とする請求項２〜請求項６のいずれかに記載の撮像装置。
8. 前記第１の特性が入射光量に対して対数変換する光電変換特性であるとともに、前記第２の特性が入射光量に対して線形変換する光電変換特性であることを特徴とする請求項２〜請求項６のいずれかに記載の撮像装置。
9. 前記固定パターンノイズ設定部が、前記固体撮像素子内外に設けられた増幅部の増幅率に基づいて乗算係数を設定するとともに、該乗算係数を前記固定パターンノイズ成分に乗算して前記ノイズ成分除去部に出力することを特徴とする請求項１〜請求項８のいずれかに記載の撮像装置。

Images